Au sein d'une Direction des Services Socles et Poste de Travail, vous intervenez sur une plateforme Data centralisant de multiples sources d'information liées à la gestion des actifs informatiques, aux identités numériques, aux référentiels d'entreprise et aux données de gestion.
Ces données sont consolidées au sein d'un Data Warehouse Cloud Azure afin de produire des indicateurs décisionnels, des tableaux de bord Power BI et des reportings destinés aux différentes directions métiers.
Les principaux usages concernent notamment :
- Le pilotage des services internes ;
- Le suivi de la consommation et de la facturation des offres de services ;
- L'aide à la décision ;
- Le suivi des projets et déploiements ;
- L'historisation des données ;
- L'amélioration de la gouvernance des actifs IT.
Missions principales :
Dans le cadre de l'évolution et de l'industrialisation de la plateforme Data, vous intervenez en tant qu'Ingénieur Data avec une forte dimension DevOps.
- Concevoir, développer et maintenir des pipelines de traitement de données sur Azure Databricks.
- Développer des notebooks PySpark permettant l'alimentation des couches Bronze, Silver et Gold selon l'architecture Médaillon.
- Exploiter et optimiser les formats de données Parquet, Delta Lake et CSV.
- Garantir la qualité, la performance et la fiabilité des traitements.
- Optimiser les jobs existants afin de réduire les temps d'exécution et les coûts d'exploitation.
- Mettre en place et maintenir les dispositifs de supervision et de monitoring des flux de données.
- Assurer le suivi de la qualité des données et la gestion des alertes.
- Participer à la résolution d'incidents et à l'amélioration continue de la plateforme.
- Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et proposer des solutions adaptées.
- Participer à l'administration et à l'évolution de l'infrastructure cloud Azure.
- Maintenir et faire évoluer les infrastructures as code via Terraform.
- Développer et maintenir les pipelines de déploiement sous Jenkins.
- Contribuer aux processus CI/CD et aux bonnes pratiques d'industrialisation.
- Réaliser des revues de code et participer à la gestion des dépôts GitHub.
- Contribuer à l'automatisation des déploiements et à l'amélioration des standards techniques.
Profil du candidat :
- Formation supérieure en Informatique, Data ou équivalent.
- Minimum 5 ans d'expérience en Data Engineering.
- Expérience significative sur les environnements Azure Data Platform.
- Maîtrise de Databricks et du développement PySpark.
- Bonne compréhension des architectures Data Lake / Data Warehouse.
- Connaissances en Infrastructure as Code et pratiques DevOps.
- Expérience sur les outils CI/CD et les workflows Git.
Environnement technique :
Technologies & environnement technique
- Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM.
- Librairies Python courantes :
- pyspark (transformations, jointures, agrégations, optimisations).
- delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation).
- Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l’intégration avec les services cloud.