Data Engineer - GCP, Python & Spark for Risk Analytics
Kéoni Consulting · Paris, France ·
- Category
- Data engineering
Designs and deploys data solutions on Google Cloud Platform using Python and Spark to ingest, transform, aggregate, and expose large volumes of data from multiple sources for risk analytics. The role also covers maintaining applications in RUN and ensuring data quality and security.
Contexte
Le projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit.
La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée.
Missions principales
Le consultant interviendra notamment sur :
La conception et le développement de solutions Data sur Google Cloud Platform ;
Le développement et l’intégration de traitements Python / Spark ;
La mise en place et l’évolution des pipelines d’ingestion et de traitement de données ;
L’ingestion, l’agrégation et l’exposition de données provenant de sources multiples ;
Le développement de traitements à forte volumétrie ;
La collecte, le stockage et l’exploitation des flux de données ;
La supervision et l’intégration de données de différentes natures ;
Le contrôle de la qualité et de la sécurité des données ;
La maintenance et le suivi du RUN des applications développées ;
La maintenance des infrastructures Data associées ;
La documentation et la cartographie des différentes sources de données ;
La contribution à l’industrialisation des traitements et modèles ;
La proposition d’évolutions des infrastructures et solutions Data existantes.
La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN.