Denis Thong Van

Création de workflows automatisés (Jobs) pour effectuer des transformation de données en utilisant Matillion

Orchestration des jobs de transformations des données

Ingestion des données depuis SAP / Fichiers dans les tables datalake depuis Matillion

Création et alimentation des tables du datawarehouse dans Snowflake

Développement, recette et mise en production des Jobs Matillion

Utilisation de Python dans Matillion pour un déplacement / archivage plus véloce des fichiers après traitement

Rédaction / Tenue du suivi de livraisons en recette et en production

Mise en œuvre d'une solution analytique complète, en mode lakehouse (architecture médaillon) construit dans l'écosystème Microsoft Fabric

Création d'un framework d'alimentation générique de la couche silver (données mise en qualité) en utilisant Spark

Ingestion de la donnée dans la couche bronze (données brutes) en mettant en place un module entièrement en Python pour copier les fichiers depuis le SFTP du client

Alimentation par notebooks Spark de la couche Gold et Platinum du lakehouse, à raison d’un notebook spark par table pour prendre en compte les spécificités du client

Utilisation des Pipelines Fabric pour ordonnancer et cadencer l’ensemble du traitement

Modélisation des données avec Power BI

Mise en place d'un traitement de maintenance hebdomadaire

Rédaction des spécifications