Nous recherchons un(e) Data Engineer Senior pour rejoindre le département Data Solutions et participer à un projet stratégique de gestion des catalogues, dans le cadre de l'évolution de l'architecture des données de notre client, un grand groupe international d'origine française. Cette initiative transverse aura un impact direct sur la manière dont l'organisation identifie, documente, gouverne, contrôle et valorise ses actifs de données.
Todas las habilidades, cualificaciones y experiencia relevantes que necesitará un candidato seleccionado se enumeran en la siguiente descripción.
À propos du rôle: Le projet vise à mettre en place une solution d'observabilité opérationnelle permettant de capturer, centraliser, administrer, enrichir, gouverner et exploiter les métadonnées techniques et fonctionnelles associées aux actifs, services, flux et usages de la plateforme de données. Son périmètre couvre la consolidation du catalogue fonctionnel et métier, l'évolution du catalogue technique, le lignage de bout en bout, la qualité des données et la supervision de la plateforme.
La personne retenue jouera un rôle clé dans la définition et la mise en œuvre de ces capacités. Elle interviendra sur une plateforme complexe et évolutive, en reliant les exigences de gouvernance à la réalité technique des systèmes, des intégrations et des processus d'exploitation. Au-delà de l'exécution et de la maintenance des solutions, elle contribuera à leur analyse, leur sélection, leur conception technique, leur déploiement et leur amélioration continue.
Environnement de travail_ Le rôle est basé à Barcelone, où se trouve une part importante de la Direction des Systèmes d'Information (DSI), avec un mode de travail hybride. La personne rejoindra une équipe internationale dont la langue de travail habituelle est l'anglais et collaborera en continu avec les équipes basées en France, où se trouve la Direction de la Gouvernance des Données.
Le rôle implique des échanges constants avec des profils techniques, des responsables de la gouvernance des données, des fournisseurs technologiques et des équipes métier. Nous recherchons donc, au-delà d'une solide expertise technique, une personne autonome, à l'aise dans un environnement multiculturel, capable de collaborer à distance et de traduire les besoins fonctionnels et de gouvernance en solutions techniques opérationnelles.
Responsabilités
- Consolider le modèle de gestion des métadonnées techniques et fonctionnelles et contribuer à son adoption au sein de l'organisation.
- Administrer et faire évoluer techniquement le catalogue de données fonctionnelles et métier dans Zeenea : mises à niveau, configuration, connecteurs, taxonomies et politiques.
- Analyser et mettre en œuvre le catalogue technique en intégrant les métadonnées de traitement, de planification, d'exécution et d'usage des actifs de données.
- Définir et mettre en œuvre la capture du lignage des données à travers les différents services, outils et flux de la plateforme.
- Sélectionner, déployer, configurer et maintenir des outils de qualité des données, notamment les règles, contrôles, indicateurs, alertes et dispositifs de communication.
- Étudier et mettre en œuvre des solutions d'observabilité, de supervision et de détection d'anomalies.
- Se coordonner avec la Direction de la Gouvernance des Données en France et les équipes de la DSI à Barcelone afin d'aligner les solutions techniques sur les standards de gouvernance et les besoins opérationnels.
- Collaborer avec des équipes pluridisciplinaires, des fournisseurs technologiques et les métiers dans un contexte international.
- Contribuer à l'amélioration continue de la plateforme en matière de gouvernance, de qualité, de disponibilité et de traçabilité des données.
- Gérer la relation avec le CSM de Zeenea et assurer la coordination avec le support pour le suivi et la résolution des incidents.
Stack technologique du projet
- Stockage : AWS S3.
- Traitement : AWS EMR, AWS Glue et AWS Lambda.
- Catalogue opérationnel : AWS Glue Data Catalog.
- Bases de données : AWS Redshift, AWS DynamoDB et SQL Server.
- Orchestration : OPS (Axway Automator) et AWS Step Functions.
- ETL hors AWS : Talend et SAP BODS.
- Business Intelligence : SAP BO, Power BI et Qlik Sense.
- Analytique : AWS Athena, AWS EMR Studio, AWS SageMaker Studio et SAS.
- Catalogue de données : Zeenea de préferènce
- Infrastructure as Code (IaC) : AWS CloudFormation et GitLab CI.
- Intelligence artificielle et Machine Learning : AWS SageMaker.
Profil recherché
Vous justifiez de plus de cinq ans d'expérience en Data Engineering et disposez d'une expérience ou d'un fort intérêt pour la gestion et l'exploitation des métadonnées techniques et fonctionnelles de plateformes de données. Méthodologies et langues:
Méthodologies et langues
- Gouvernance des données : connaissance des principes DAMA-DMBOK
- Data Quality : expérience des frameworks de qualité des données.
- Agile : expérience des méthodologies Agile et Scrum.
- Langues : franncophone de préferènce (ou bilingue) et bon niveau d'anglais.
Compétences personnelles
- Proactivité : capacité à identifier les problèmes et à proposer des solutions adaptées.
- Collaboration : aisance à travailler avec des équipes pluridisciplinaires, notamment la DSI, AWS, les fournisseurs technologiques et les métiers.
- Rigueur : attention portée aux détails, documentation systématique et respect des processus.
- Pragmatisme : capacité à trouver le bon équilibre entre l'état de l'art et les contraintes opérationnelles.
Stack requis pour le profil
- AWS : au moins trois ans d'expérience et maîtrise de plusieurs services data, tels qu'EMR, Glue, Athena, Redshift ou SageMaker.
- SQL : niveau avancé.
- PySpark : capacité à lire et comprendre les développements existants.
- Python : capacité à développer des scripts d'automatisation et d'intégration ainsi que des pipelines DevOps pour la mise en production.
- API REST : expérience de l'intégration et de l'orchestration des flux de données et des outils.
- Catalogue de données : expérience pratique de l'administration et de la configuration d'un outil de catalogage.
- Une expérience de Zeenea sera particulièrement appréciée, notamment pour l'administration du catalogue, ainsi que la configuration et le déploiement de scanners et de connecteurs sur des instances EC2/Linux.
- Qualité des données : expérience pratique de la mise en production d'un framework ou d'un outil de Data Quality.
- Lignage des données : compréhension technique et expérience pratique de sa mise en œuvre.
- Infrastructure as Code (IaC) : connaissances de base d'AWS CloudFormation et de GitLab CI/CD.
- ETL : une expérience d'au moins un outil ETL, tel que SAP BODS, sera appréciée.
Ce que nous proposons
- Contrat permanent.
- Modèle de travail hybride (2 jours sur site).
- Horaires flexibles.
- Un package de rémunération compétitif incluant des avantages sociaux attrayants.
- Des certifications techniques et linguistiques sponsorisées par lentreprise.
- Apprentissage continu et développement professionnel. xqbhyrx
- Participation à des projets internationaux pour des clients de premier plan.
- Un environnement hautement technique et international