Machine Learning Engineer Databricks / Microsoft

Vos missions :

• Industrialiser les modèles de Machine Learning et d’IA Générative : collaborer étroitement avec les Data Scientists pour transformer leurs modèles en produits prêts pour la production.

• Concevoir et opérer des plateformes MLOps sur Azure Databricks : MLflow (tracking, Model Registry dans Unity Catalog), Feature Engineering, Mosaic AI Model Serving, Lakeflow Jobs, Databricks Asset Bundles.

• Développer des solutions d’IA Générative sur Databricks : RAG avec Mosaic AI Vector Search, agents avec Agent Framework / Agent Bricks, évaluation et traçabilité avec MLflow.

• Déployer des solutions ML et GenAI sur l’écosystème Microsoft Azure : Azure Machine Learning (pipelines, registry, endpoints), Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure AI Services, Azure Functions.

• Concevoir et optimiser des pipelines CI/CD pour l’entraînement, l’évaluation et le déploiement continu des modèles (GitHub Actions, Azure DevOps, Docker).

• Mettre en place le monitoring des modèles en production : dérive des données et des modèles, qualité des prédictions, latence et coûts.

• Optimiser les processus d’inférence batch et temps réel pour garantir scalabilité et maîtrise des coûts.

• Promouvoir les bonnes pratiques de Software Engineering : revues de code, tests unitaires et d’intégration, gestion des dépendances.

• Participer au cadrage de projets IA : recueil des besoins, définition de l’architecture et de la solution technique, accompagnement des Product Owners et des équipes métiers.

• Participer à la conception d’offres innovantes autour du MLOps, de l’IA Générative (RAG, agents, LLMOps)… et à leur promotion.

Compétences techniques attendues :

• Expérience significative d’au moins 3 ans dans la data

• Maîtrise des technologies Microsoft Azure, Azure Databricks

• Utilisation des coding agents : Claude Code, GitHub Copilot etc….

• Expérience dans le déploiement et le monitoring de modèles en production

• Solide expérience en Software Engineering appliqué à la Data / IA : Python, Git, Docker, CI/CD.

  • Maîtrise d’Azure Databricks pour le Machine Learning et l’IA :

    • Cycle de vie des modèles avec MLflow : suivi des expériences, Model Registry dans Unity Catalog (versions, alias, lignage), évaluation des modèles.

    • Feature Engineering : tables de features dans Unity Catalog, features en ligne pour l’inférence temps réel.

    • Mosaic AI Model Serving : déploiement de modèles custom, Foundation Model APIs et modèles externes (Azure OpenAI), AI Gateway (quotas, guardrails, suivi des usages).

    • Inférence batch : AI Functions (ai_query), Pandas UDF, Spark.

    • IA Générative et agents : Mosaic AI Vector Search, RAG, Agent Framework / Agent Bricks, MLflow Tracing et évaluation des LLM.

    • Monitoring : Lakehouse Monitoring et inference tables (dérive des données, qualité des prédictions).

    • Entraînement à l’échelle : PySpark, Delta Lake, clusters GPU, entraînement distribué (TorchDistributor, Ray), optimisation des hyperparamètres (Optuna), AutoML.

    • Industrialisation : Databricks Asset Bundles, MLOps Stacks, Lakeflow Jobs, Git folders, CI/CD.

    • Gouvernance et coûts : Unity Catalog (droits, lignage des modèles et des données), compute serverless, maîtrise des coûts.

    • Atout : Databricks Apps pour exposer des applications IA aux métiers.

  • Maîtrise de l’écosystème MLOps Microsoft Azure : Azure Machine Learning (Pipelines, Model Registry, Endpoints), Azure AI Foundry, Azure AI Search, Azure Functions, Azure DevOps.

  • Bonne compréhension des concepts de Machine Learning et des enjeux spécifiques de l’IA Générative (LLMOps, RAG, évaluation des LLM).

• 1er échange téléphonique de fit pour vous présenter, présenter votre parcours et vos motivations

• 2ème échange RH pour bien comprendre vos ambitions et vos motivations mais aussi pour vous projeter sur votre rôle au sein de Datatorii (durée : 45mn à 1h, Teams ou présentiel)

• 3ème et dernier échange avec un Directeur Technique selon votre profil pour valider votre niveau technique

Nous sommes agiles ! Ces entretiens peuvent se faire en visio et/ou en présentiel, dans cet ordre ou un autre.