Description

Data Engineer depuis 2015, fort d'une expérience débutée en 2011, je suis spécialisé dans les technologies GCP, Spark et Kafka. Ma passion réside dans la conception et l'optimisation de pipelines de données robustes. Expert dans la gestion de flux massifs, j'excelle dans la création de solutions efficaces pour exploiter le potentiel des données. Prêt à relever de nouveaux défis et à contribuer au succès des projets axés sur la gestion intelligente des données.

Languages

French
Fluent
English
Fluent
Chinese
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Paris (up to km)

Groupe Renault
Big Data & Cloud Engineer
AUTOMOBILE
July 2019 - Today (6 years and 11 months)
Le Plessis-Robinson, France
▪ Migration de l'infrastructure HDP vers la plateforme Google Cloud (GCP).
▪ Définition, conception et architecture de la phase de migration.
▪ Mise en place de l'opérateur BigQuery UpsertOperator, utilisé pour l'ingestion de données en mode upsert dans BigQuery.
▪ Mise en place de Cloud Function, PubSub et Cloud Storage, déclenchant les DAGs Composer à la lecture de flags (parmi les premières équipes à avoir im-plémenté cette fonctionnalité au sein de Renault).
▪ Mise en place de l'opérateur CompareOperator, utilisé pour comparer des tables BigQuery.
▪ Mise en place du socle de projet avec Dataflow Java (ingestion, traitement, validation et publication des signaux, etc.).
▪ Mise en place de BigQuery UDF sur la détection de langue.
▪ Mise en place du monitoring Looker Studio sur les DAGs Composer.
▪ Développement de la bibliothèque Elasticsearch_Template, utilisée pour admi-nistrer les templates Elasticsearch.
▪ Développement de la bibliothèque Dataproc_dll, utilisée pour indexer des do-cuments Elasticsearch selon différents modes.
▪ Développement d'airflow_dependencies : outil central des projets Composer.
▪ Mise en place de la pipeline CI/CD sous GitLab.
▪ Migration de Composer 1 vers Composer 2.
▪ PoC du Cloud Translation pour la détection et la traduction des langues.
▪ Migration de Dataproc 1.4 vers 2.1.
▪ Migration de Elasticsearch 7.17 vers 8.4
GCP Dataflow Composer Spark Hadoop Scala Oozie Hive Yarn Hue Zeppelin Elasticsearch Big Query Gitlab CI/CD
La Poste
Big Data Engineer
LOGISTICS AND SUPPLY CHAIN
September 2017 - July 2019 (1 year and 10 months)
Issy-les-Moulineaux, France
▪ Architecture des nouveaux projets, conception des solutions
▪ Développement des applications pour les différents projets en Kafka, Scala
▪ Mise en place de l'application pour la détection en temps réel des fraudes transactionnelles avec Machine Learning sur la plateforme Kafka
▪ Mise en place de l'application pour la campagne marketing en temps réel avec Kafka Streaming en utilisant Scala
▪ Développement en Spark Scala
▪ Développement en Ansible
▪ Test des applications
▪ Optimisation de l'application afin de consommer moins de ressources et fonc-tionner plus rapidement
▪ Code review
Apache Kafka Machine learning Spark Scala Ansible Docker Elasticsearch Airflow Mesos
Black Tiger
Data Engineer
SOFTWARE PUBLISHING
November 2015 - September 2017 (1 year and 9 months)
Issy-les-Moulineaux, France
▪ Architecture du projet : conception et proposition de solutions.
▪ Transformation du projet de Java en Scala.
▪ Migration du projet en micro-services à partir de l'ancien projet monolithique.
▪ Traitement des données en Spark Scala.
▪ Développement de l'application.
▪ Test de l'application.
▪ Optimisation de l'application afin de consommer moins de ressources et fonc-tionner plus rapidement.
Scala Vert.x spark Elasticsearch java Docker Microservice MongoDB Jenkins