Data Engineer

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists.

Principales missions :

• Mener les projets d'intégration (temps réel) et data (big data & insights)
• Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists)
• Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques
• Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation)
• Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétion, épuration, enrichissement) dans le but d'optimiser les performances des modèles
• Améliorer les processus internes: localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation
• Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures
• Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données

Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant d’hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS.

Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes.

Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones.

Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange.

Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles.

Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux.

Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux.

Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.