Data Engineer GCP & Big Data

Pyl.Tech est un pure player Google qui accompagne les entreprises dans leur transformation numérique grâce à des solutions innovantes personnalisées. De la modernisation des infrastructures Cloud à l’adoption de l’IA Générative (Gemini), en passant par le Digital Workplace et la Data, nous intervenons de la conception stratégique à la mise en œuvre technique auprès de clients grands comptes et ETI ambitieuses. Notre conviction : conjuguer performance et simplicité au service de votre transformation.

Pour renforcer notre pôle Data & Plateformes, nous cherchons un(e) Data Engineer en mesure de construire des pipelines de données robustes alimentant les plateformes Analytics et IA de nos clients sur Google Cloud.

Construction de Pipelines Data

• Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+)
• Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle
• Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet)
• Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring
• Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing

Architecture & Modélisation

• Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques
• Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3)
• Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine
• Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive)

Qualité & Gouvernance

• Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables
• Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier
• Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery
• Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security)

Industrialisation & DevOps Data

• Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements
• Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer
• Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité

Formation

• Titulaire d’un diplôme Bac+5 en Informatique ou Data Science.

Expérience

• Fort(e) d’une expérience de 2 à 4 ans en Data Engineering avec un focus sur BigQuery.

Vos compétences

Techniques (Hard skills)

• Expert SQL avec requêtes complexes et optimisation
• Bonne maîtrise Python pour scripting et transformations
• Expérience BigQuery, Dataflow, Pub/Sub, Cloud Storage
• Connaissance Airflow, dbt, Terraform

Comportementales (Soft skills)

• Rigueur et sens de la qualité des données
• Autonomie et capacité à travailler en équipe
• Curiosité pour les services managés GCP

Ce que Pyl.Tech vous offre

• De solides perspectives d’évolution : Un plan de carrière clair avec des formations ciblées et des certifications professionnelles (Google Cloud, Gemini, etc.) pour accélérer votre développement professionnel.
• Un cadre de travail flexible et stimulant : Télétravail, culture d’entreprise basée sur la confiance, l’entraide et l’innovation.
• Des projets à fort impact : Contribuez à des projets mobilisant les technologies les plus innovantes (IA Générative Gemini, Cloud souverain, Data, Digital Workplace) au service de clients grands comptes et d’ETI ambitieuses.
• Un écosystème Google unique : En tant que pure player Google, bénéficiez d’un accès privilégié aux dernières technologies, aux formations partenaires et à une communauté d’experts passionnés où chaque expertise est valorisée.