Data Engineer Senior H/F

Le besoinContexte de la MissionDans le cadre de la modernisation et de l'évolution de ses infrastructures de données, un acteur majeur du secteur de la mobilité et des services numériques renforce son pôle Data Services.L'objectif principal de la mission est d'accompagner l'équipe dans la conception, l'industrialisation et l'évolution des solutions Data, tout en contribuant activement à la mise en oeuvre et au passage à l'échelle de l'architecture Lakehouse de l'entreprise.Description des Tâches & ResponsabilitésArchitecture, Modélisation & DéveloppementConcevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).Industrialiser les flux via Spark, dbt et Apache Iceberg.Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.Déploiement, DevOps & InfrastructureDéployer et maintenir les pipelines au sein d'un environnement Cloud AWS.Orchestrer les workflows ETL/ELT avec Apache Airflow.Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).Observabilité, Qualité & GouvernanceGarantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).Assurer la gestion des incidents et participer aux démarches d'amélioration continue.Mettre en oeuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.

Description des Tâches & Responsabilités

Architecture, Modélisation & Développement

• Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).
• Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).
• Industrialiser les flux via Spark, dbt et Apache Iceberg.
• Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.

Déploiement, DevOps & Infrastructure

• Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.
• Orchestrer les workflows ETL/ELT avec Apache Airflow.
• Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.
• Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).

Observabilité, Qualité & Gouvernance

• Garantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).
• Assurer la gestion des incidents et participer aux démarches d'amélioration continue.
• Mettre en oeuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).
• Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).
• Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.

Profil recherché

• 8 ans minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Esprit d'analyse : Forte capacité à appréhender et traduire les enjeux métiers.
• Savoir-être : Rigueur, autonomie et culture de l'amélioration continue.
• Compétences indispensables (Must-have) :
  • Frameworks & Traitement Data : dbt, Apache Iceberg, Apache Spark, Python.
  • Environnement Cloud AWS : Maîtrise des services clés (AWS Glue, EMR, S3, etc.).
  • Architecture & Modélisation : Modélisation Médaillon (Bronze / Silver / Gold), architecture Lakehouse.
  • Infrastructure & DevOps : Terraform, Docker, Kubernetes, Apache Airflow.
  • Observabilité & Moteurs de requêtes : Datadog, Trino / Starburst.
  • Gouvernance : Règlements RGPD, Data Quality et automatisation des tests.