Data engineer - énergie H/F
Onyx-Conseil · Lyon, France ·
- Category
- Data engineering
Consulting data engineer role (via Viveris/Onyx-Conseil) embedded at a major energy-sector client in Lyon. Day to day: developing and optimizing large-scale data pipelines, migrating legacy Informatica/PL/SQL processing to Apache Spark, and helping move the Big Data platform to cloud-based Databricks.
Contexte de la mission :
Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle.
Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme.
Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data.
Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data.
Responsabilités :
- Migration de traitements Informatica et PL/SQL vers Spark ;
- Participation au projet stratégique de migration vers le cloud ;
- Garantir la performance, la robustesse et la qualité des données ;
- Documentation et partage de connaissances.