Data Engineer (Databricks)

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

• Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

À propos de vous

• Vous avez une solide expérience pratique de Unity Catalog, Delta Lake, Change Data Feed de Databricks.
• Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines avec PySpark.
• Votre maîtrise de SQL est forte ; vous rédigerez directement la logique de transformation et les requêtes de validation.
• Vous savez travailler dans un pipeline CI/CD sur Azure DevOps existant, comprendre ses mécanismes et déboguer les échecs.
• Vous avez une connaissance fonctionnelle des données dans le domaine de la banque privée.
• Vous êtes capable de modéliser correctement un nouvel ensemble de données avant de rédiger la configuration TOML.
• L'expérience avec TOML ou d'autres modèles de pipeline configurables, ainsi qu'une exposition aux pipelines déclaratifs Kafka/Spark et une compréhension préalable des méthodologies de modélisation dimensionnelle (Kimball ou similaire) seraient des atouts.

Pourquoi rejoindre Ivy Partners ?

• Bienveillance | Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.
• Confiance | Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.
• Innovation | Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.
• Responsabilité | La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.