Data Engineer / Data Ops .net - confirmé
Free-Work · Lille, France ·
- Category
- Data engineering
A confirmed data engineer works inside the data team, at the junction of app development and data engineering, to design, orchestrate and optimize batch and real-time data flows (Pub/Sub) with Azure Data Factory, while building APIs and connectors feeding the Data Hub, BFF and Dynamics architectures and writing bash automation scripts.
Au sein de l'équipe Data et en étroite collaboration avec le Head of Data, vous intervenez à la jonction du développement applicatif et de l'ingénierie des données. Votre rôle consiste à concevoir, orchestrer et optimiser les flux de données, la gestion des API et l'alimentation des différentes briques du Data Hub.
Missions:
Ingénierie Data et Orchestration Gestion et automatisation des flux de données en batchs et temps réel (Pub/Sub), orchestration via Azure Data Factory et intégration dans l'environnement Data Fabric.
Développement et Connectivité Développement et maintenance d'API et de connecteurs pour alimenter les architectures BFF, Dynamics et les applications du Data Hub.
Pratiques DevOps et Innovation Mise en place de scripts d'automatisation (bash) et exploration des usages de l'Intelligence Artificielle pour optimiser les développements et l'intégration des données.