Data Data Engineer Databricks Azure Spark Selon profil

Industrialisation de pipelines de données au sein d'une squad data : optimisation des jobs, contrôles qualité et restitution d'indicateurs sous Power BI, en mode hybride entre Châtillon et télétravail.

Description du client

Le client est un groupement d'enseignes de la distribution, doté d'une direction technique interne organisée en squads produit. Les équipes data y travaillent sur une plateforme Azure Databricks, avec des traitements Spark alimentant les usages analytiques métier, notamment sur le périmètre Supply Chain et logistique.

L'organisation renforce ses capacités d'ingénierie data pour industrialiser ses pipelines et fiabiliser les données mises à disposition des métiers. L'enjeu : disposer de flux robustes et de livrables contrôlés en qualité, afin que les décisions opérationnelles — approvisionnement, flux logistiques, pilotage — reposent sur des données exploitables et documentées.

Détail & objectif de la mission

Intégré·e à une squad data, vous développez et maintenez les pipelines de traitement de données et contribuez à leur valorisation auprès des équipes métier.

• Développer et maintenir des pipelines de données sur Databricks avec Spark, Python et SQL
• Industrialiser les traitements dans l'écosystème Azure et assurer leur exploitabilité en production
• Optimiser les performances et les coûts des jobs Spark (partitionnement, volumétrie, temps de traitement)
• Mettre en place les contrôles de qualité et de fiabilité des données livrées
• Contribuer aux analyses de données et à la restitution des indicateurs, notamment sous Power BI
• Participer aux activités de QA et de testing sur les développements de la squad
• Documenter les modèles de données et les flux pour les équipes métier et techniques

Profil recherché

• 4 à 10 ans d'expérience en data engineering, sur des projets de conception et d'industrialisation de pipelines de données
• Maîtrise confirmée de Databricks et de Spark en production
• Maîtrise confirmée de l'écosystème Azure
• Développement en Python et SQL au quotidien, y compris sur les volets qualité et fiabilité des données (tests, contrôles, QA)
• Français courant et disponibilité pour 3 jours de présence par semaine à Châtillon
• Disponibilité pour un test technique en présentiel pendant le processus d'entretien

Un plus : expérience Power BI et première expérience en environnement Supply Chain / Logistique.

Cette mission de data engineering se déroule chez un groupement d'enseignes de la distribution, dont la direction technique est internalisée et structurée en squads produit. La plateforme data repose sur Azure Databricks, avec des traitements Spark qui alimentent les usages analytiques des métiers, en particulier sur le périmètre Supply Chain et logistique.

Le contexte est celui d'un renforcement des capacités d'ingénierie : industrialiser les pipelines existants, fiabiliser les jeux de données exposés aux métiers et documenter les flux. L'objectif opérationnel est que les décisions d'approvisionnement, de gestion des flux logistiques et de pilotage s'appuient sur des données contrôlées et traçables.

Objectifs de la mission

Rattaché·e à une squad data, le ou la data engineer prend en charge le cycle de vie des pipelines : développement, mise en production, optimisation et contrôle qualité, jusqu'à la restitution des indicateurs auprès des équipes métier.

• Concevoir et maintenir des pipelines de données sur Databricks en Spark, Python et SQL
• Industrialiser les traitements dans l'écosystème Azure et garantir leur exploitabilité en production
• Travailler les performances et les coûts des jobs Spark : partitionnement, volumétrie, temps de traitement
• Implémenter les contrôles de qualité et de fiabilité sur les données livrées
• Contribuer aux analyses et à la restitution des indicateurs, notamment sous Power BI
• Participer aux activités de QA et de testing sur les développements de la squad
• Documenter les modèles de données et les flux à destination des équipes métier et techniques

Profil recherché

Le profil attendu est celui d'un·e data engineer expérimenté·e, à l'aise sur des pipelines en production et pas uniquement sur des développements en environnement de test. La dimension qualité de données et la capacité à documenter font partie intégrante du poste.

• 4 à 10 ans d'expérience en data engineering, sur la conception et l'industrialisation de pipelines
• Maîtrise confirmée de Databricks et de Spark en production
• Maîtrise confirmée de l'écosystème Azure
• Pratique quotidienne de Python et SQL, y compris sur les tests, contrôles et activités de QA
• Français courant et disponibilité pour trois jours de présence hebdomadaire à Châtillon
• Disponibilité pour un test technique en présentiel durant le processus d'entretien
• Appréciés : une expérience Power BI et une première exposition à un environnement Supply Chain ou logistique

La mission de data engineer Databricks est-elle ouverte au télétravail complet ?

Non, le format est hybride : trois jours de présence par semaine sont attendus sur le site de Châtillon, les autres jours pouvant être réalisés en télétravail.

Quel est le rythme d'engagement attendu sur cette mission ?

La mission est à temps plein, au sein d'une squad data, avec un démarrage souhaité dès que possible.

Combien d'années d'expérience faut-il pour postuler à cette mission Spark et Azure ?

Le client recherche un·e data engineer disposant de 4 à 10 ans d'expérience en ingénierie de données, avec une pratique confirmée de Databricks et de Spark en production.

Le processus de sélection comporte-t-il un test technique ?

Oui, un test technique en présentiel est prévu pendant le processus d'entretien. La disponibilité pour ce test est une condition d'entrée dans le processus.

Power BI est-il indispensable pour cette mission de data engineering ?

Power BI n'est pas un prérequis bloquant, mais la mission comprend une contribution aux analyses et à la restitution des indicateurs : une expérience sur l'outil est considérée comme un atout.

Une expérience en Supply Chain est-elle exigée ?

Une première expérience en environnement Supply Chain ou logistique est appréciée sans être obligatoire ; les pipelines développés alimentent principalement ce périmètre métier.

mission freelance data engineer Databricks, consultant Spark Azure Île-de-France, freelance data engineering Python SQL, mission data engineer Châtillon, pipeline de données Azure Databricks freelance, data engineer Supply Chain logistique, industrialisation de pipelines Spark en production, mission freelance data hybride Hauts-de-Seine, data engineer Power BI freelance, optimisation coûts et performances jobs Spark, qualité de données et QA data engineering, mission data engineer temps plein démarrage immédiat