Votre mission
L'objectif du stage est de contribuer à la construction et à l'industrialisation de la Plateforme Data de l'Hospice général, une infrastructure Lakehouse entièrement open source déployée sur Kubernetes, en veillant à ce que chaque produit data apporte une valeur ajoutée concrète à nos bénéficiaires et à nos collaboratrices et collaborateurs. Vous aurez pour mission de concevoir et fiabiliser des pipelines de données de bout en bout, de challenger les choix technologiques de la plateforme et de les éprouver sur des cas d'usage métier précis et mesurables.
Au sein de la direction des systèmes d'information et du numérique, vous travaillerez au sein de l'équipe Produit Data Intelligence pour concevoir, construire et fiabiliser ces produits data dans leur contexte d'usage social.
Vos activités principales
- Vous participerez activement à la construction de la plateforme et à la livraison de premiers produits data à forte valeur ajoutée.
- Vous contribuerez à la mise en place et à l'évolution des composants de la Plateforme Data (ingestion avec Apache NiFi et RedPanda, stockage Apache Iceberg sur S3, catalogue Nessie / Polaris, requêtage Trino, …).
- Vous concevrez et testerez des pipelines de données de bout en bout, des couches Bronze et Silver jusqu'à la couche Gold, sur des cas d'usage métier concrets.
- Vous développerez des transformations dbt et les tests de qualité associés (fraîcheur, conformité aux Data Contracts, intégrité référentielle, règles métier, non-régression).
- Vous rédigerez et ferez évoluer les Data Contracts en lien avec les producteurs et les consommateurs de données.
- Vous contribuerez à l'observabilité de la plateforme (métriques Prometheus, logs Loki, tableaux de bord et alertes Grafana) et au suivi des SLA des pipelines.
- Vous comparerez et challengerez les solutions technologiques disponibles et formulerez des recommandations argumentées.
- Vous serez force de proposition afin de faire de la donnée un levier de valeur pour nos bénéficiaires et nos collaboratrices et collaborateurs, et en favoriser l'adoption (tableaux de bord, documentation et accompagnement des utilisateurs).
Méthodologies utilisées :
- Utilisation de l’IA agentique (agents de développement, orchestration d'outils, protocole MCP, …) pour accélérer et fiabiliser les travaux data : génération et revue de code dbt / SQL, rédaction de Data Contracts et de tests, documentation, analyse des incidents, dans le respect de la confidentialité des données.
- Architecture Lakehouse en trois couches (Bronze, Silver, Gold), fondée exclusivement sur des technologies open source.
- Ingestion des données batch et streaming avec Apache NiFi et RedPanda depuis les systèmes sources on premise (ERP, SI métier, fichiers).
- Stockage objet S3-compatible et format de table ouvert Apache Iceberg, catalogue Nessie / Polaris permettant un branchement Git-like des données.
- Transformation avec dbt et SQL, approche Data Contracts (YAML) et pyramide de tests de qualité à cinq niveaux.
- Requêtage et restitution avec Trino et Metabase.
- Développement avec Python et SQL pour l'intégration, l'automatisation et les tests.
- Déploiement sur Kubernetes via des charts Helm et une approche GitOps (Flux CD), CI/CD avec Azure DevOps et JFrog Artifactory, environnements DEV, QUAL et PROD isolés.
- Observabilité de bout en bout avec Prometheus, Loki et Grafana.
- Sécurité dès la conception : authentification, RBAC, chiffrement, gestion des secrets et intégration au SIEM/SOC.
- Gouvernance et protection des données personnelles dans un contexte d'action sociale.
Votre profil
En cours de formation niveau Master auprès d'une filière informatique, data engineering, data science ou domaine connexe (HES, université ou EPFL)
Compétences recherchées :
- Connaissances solides en SQL, en modélisation de données et en programmation Phyton.
- Intérêt pour les architectures data modernes : Lakehouse, formats de table ouverts (Iceberg, Delta Lake), outils de transformation (dbt).
- Notions d'ingestion et de traitement de données batch et streaming (ETL / ELT, Kafka, NiFi, …).
- Pratique de Git et sensibilité aux démarches CI/CD et DevOps / GitOps.
- Notions de containerisation (Docker).
- Sensibilité à la qualité des données (tests, contrats, documentation).
- Compréhension des enjeux de sécurité et de confidentialité des données.
- Excellentes capacités à collaborer et à communiquer.
- Force de proposition et recherche de solutions innovantes.
- Capacité à vulgariser des concepts techniques complexes.
Type de contrat : Stage universitaire
Entrée en fonction : février 2027
Durée du stage : 6 mois
Taux d'activité : 100%
Délai de postulation: 2 novembre 2026
Merci de transmettre votre dossier complet (CV, lettre de motivation, diplôme du plus haut niveau de formation, certificats de travail)