Vos principales missions :
- Intégré(e) à l'équipe Data & IA, vous contribuerez aux projets de création et d'industrialisation de pipeline de traitement de la donnée depuis les systèmes source (IOT, base de données internes, etc.) vers les zones bronze, silver et gold du data lake. A cet effet, vous serez chargé de :
- Concevoir et construire des processus ETL/ELT pour l'ingestion et le traitement de grands ensembles de données en utilisant Azure Databricks.
- Développer des solutions de traitements et d'industrialisation des données de SUEZ en mobilisant votre expertise technique (technologies Big Data, développement logiciel etc.)
- Intégrer diverses sources et formats de données, en assurant la qualité et la cohérence des données pour obtenir des informations commerciales fiables.
- Mettre en oeuvre les meilleures pratiques en matière de sécurité et de conformité des données, y compris le cryptage des données, la gestion des identités et la gouvernance des données.
- Optimiser les pipelines de données et les solutions de stockage pour obtenir des performances élevées et une bonne rentabilité.
- Travailler en étroite collaboration avec des équipes interfonctionnelles, notamment des data scientists, des architectes et des développeurs, afin de comprendre et de satisfaire les exigences en matière de données.
- Maintenir une documentation complète des architectures de données, des flux de données et des configurations de pipeline pour la transparence et le partage des connaissances.
- Utiliser des outils qui renforcent les pratiques DevOps : Git et Azure DevOps pour le versionnage, le contrôle des sources et le déploiement.
L'environnement de développement sera le cloud Azure avec la plateforme interne CoDAI,
Votre profil :
Ingénieur ou Diplômé(e) d'un BAC+5 avec une spécialisation dans un domaine technique (computer science, informatique etc.), vous possédez au moins 2 ans d'expériences dans le déploiement des pipelines de traitement des données.
Compétences techniques :
- Maîtrise d'Azure Data Factory, Azure Databricks, Azure SQL Database.
- Solide connaissance de SQL, Python et Spark.
- Familiarité avec Data Lake Storage, DataBricks et Blob Storage pour le stockage et la transformation des données.
- Expérience pratique du développement ETL/ELT et de l'orchestration de pipelines de données.
- Expérience dans les concepts de modélisation de données et d'entreposage de données.
- Expérience des pipelines Azure DevOps/github et CI/CD.
- Connaissance des méthodologies agiles afin d'assurer une gestion optimale des ressources et des délais.
- La connaissance d'autres technologies cloud comme (AWS, GCP) serait un plus
- Connaissance de Terraform, docker, Ansible et command bash seraient un plus
Autres compétences :
- Capacité d'écoute et à comprendre les besoins et les attentes de l'entreprise
- Capacité à communiquer clairement des concepts techniques à un public non technique
- Capacité à analyser et à résumer
- Un état d'esprit agile et collaboratif
- Curiosité et veille sur les problématiques de virtualisation et de conteneurisation
Le poste est basé à Paris La défense et au Pecq et vous serez rattaché hiérarchiquement au Head of Data Science au sein de la direction digitale du groupe SUEZ.