Data Engineer Hadoop/PySpark – Charenton-le-Pont (IT) / Freelance
Onyx-Conseil · Charenton le Pont, France ·
- Employment
- Contract
- Category
- Data engineering
Onyx-Conseil · Charenton le Pont, France ·
Kicklox · Charenton le Pont, France
O2MAX · Lyon, France
NEXTON · Paris, IDF, fr
Holenek Ingenierie · Vannes, France
Freelance Data Engineer placement via Onyx-Conseil for a large banking group's IT department in Charenton-le-Pont, France. Day to day: designing data ingestion flows and building/reliabilizing PySpark + shell pipelines on the datalake, working alongside devops teams using Hadoop, Hive, SQL, Git and Jenkins.
Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark.
Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API.
Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office.
Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données
Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell
Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme
Contribuer à la fiabilité, la performance et la qualité globale du datalake
Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python
Global Experts Consulting · France