Mohamed E.

Proof-of-Concept visant la migration et l’évaluation d’un écosystème Big Data (Hadoop/HDFS/Spark/Hive) vers Google Cloud Platform. Objectifs : valider la faisabilité technique, mesurer les performances et coûts (TCO) en comparant l’architecture existante (Exadata + Indexima) à une solution GCP (BigQuery, Dataproc/Dataflow), et définir la trajectoire opérationnelle (architecture cible, sécurité, coûts, run).

Missions :

- Audit complet de l’existant Hadoop (topologie, jobs Spark/Hive, patterns ETL, stockage, catalogues, sécurité) et cartographie des dépendances applicatives et data flows.

- Conception de l’architecture cible GCP (ingest → stockage → traitement → analyse) : GCS, Dataproc / Dataflow / BigQuery, transfert de données (Storage Transfer / gsutil / Sqoop alternatives), catalogage (Data Catalog / Hive metastore), et pipelines Airflow.

- Mise en place d’un protocole de benchmark comparatif entre Exadata+Indexima et BigQuery : jeux de données représentatifs, workloads analytiques et ETL, scénarios de concurrency, et métriques de coût (requêtes, stockage, slots).

- Optimisation des schémas et formats (Parquet/ORC), partitioning/clustering, materialized views et stratégies d’optimisation BigQuery (slot reservations, colonnes décorrelées) pour reproduire les charges réelles et maximiser la comparabilité.

- Sécurité & gouvernance : recommandations CMEK (customer-managed encryption keys), IAM fine-grained, VPC Service Controls, data lineage, masking et conformité RGPD.

- FinOps & sizing : estimation du TCO, analyse coûts par requête, recommandations pour sizing de slots BigQuery / Dataproc, et stratégie d’optimisation coûts (storage classes, partition pruning, reservation autoscaling).

- Réalisation de tests de montée en charge, réglages de performances, mise en place de monitoring (Stackdriver / Cloud Monitoring, BigQuery audit logs) et playbooks pour run & incidents.

CERTINERGY – ENGIE : Projet Prométée – Refonte globale du SI autour de la gestion et production des économies d’énergie (CEE), dans un objectif de modernisation, d’urbanisation du SI et de mise en conformité avec les enjeux data, sécurité et scalabilité.

- Mission :

+ Réalisation d’un état des lieux complet de l’existant (cartographie applicative, processus métiers, flux de données).

+ Conception de l’architecture cible orientée cloud, microservices et API-first.

+ + Introduction de bricks techniques stratégiques :

+ + Middleware (API Management, EDA, cache),

+ + IAM centralisé avec SSO.

+ + BPM.

+ + BI, OPS, et automatisation.

+ Intégration d’une Event-Driven Architecture (EDA) pour les processus métiers.

+ Gouvernance des données : stratégie MDM, traçabilité, sécurité (chiffrement, rotation de clés).

+Pilotage de la transition vers une plateforme cloud AWS, dans un cadre sécurisé et scalable.

+Collaboration avec les équipes métiers et techniques pour garantir l’alignement stratégique.

- Livrable: Documentation de restitution contenant des rapports, documentation HLD et LLD, code source Terraform, code source Node.js (TypeScript), Golang, Python et Java (Apache Beam, Cloud Dataflow), code source Airflow.

Stack technique: AWS Cloud, Apache Airflow, Apache Nifi, Apache Beam, AWS IAM, AWS Cognito, AWS Cedar, Keycloak, OPA, AWS SQS, Kafka, MS Azure, MS Azure AD, TypeScript, PHP, Golang, Python, OAuth2, Unix, Linux Debian, Sonar, Open Metadata, Grafana, Prometheus, ELK, Postgres, Helm, Kubernetes, Jenkins, GitLabCI, Camunda, Flowable, Kong, KrakenD, Axway, Camunda, Flowable, Archimat, Togaf, UML, Security By Design, Zero Trust.

Reprise du projet Prévention de Fraude “LOSS PREVENTION”, Démantèlement BOKS & PosLog.

Mission:

Inventaire et évaluation (Assessment) de l’existant.

Établissement des supports pour le Move To Cloud.

Réalisation des ateliers et des travaux d’architecture solution : fonctionnelle, technique, API, data et cloud.

Cadrage technique, documentation technique, chiffrage et estimation pour les nouvelles fonctionnalités, établissement de la roadmap. Définition du socle technique.

Mise en place de la stratégie Move To Cloud pour assurer la migration de l’existant vers la nouvelle fondation cloud.

Travaux d’architecture et de mise en œuvre de la topologie réseau sur la nouvelle Landing Zone.

Mise en œuvre de la fondation cloud d’une Landing Zone sur GCP.

Mise en place d’une politique de sécurité de l’infrastructure et de la data, ainsi des tests de vulnérabilité (avec du Pentesting).

Établissement d’un mesh pour connectivité hybride (On Prem OVH & ARI Data center & GCP).

Contribution aux travaux de réalisation de l’infrastructure, de développements data et applicatifs, tâches DevOPS et SecOPS.

Mise en place de politique de monitoring et alertes autour de : Google Cloud Logging (Sink), Google Native Dashboard, BigQuery, Cloud Storage, Grafana, Datadog, quotas.

Mise en place d’une stratégie de sauvegarde et restauration.

Mise en place d’une stratégie pour assurer la haute disponibilité et haute performance.

Gestion des incidents de N3, établissement des plans d’amélioration continue via les post-mortems (sans blâme), mise en place d’une stratégie de chaos engineering (tests) pour assurer la résilience et robustesse de l’infrastructure, ainsi que l’établissement de plan de désastre.

Support aux équipes et réalisation des documentations.

Livrable: Documentation de restitution contenant des HLD, LLD et PAD, puis Terraform code source, Nest.js et Python code source.