Database Engineer – ElasticSearch / OpenSearch & Apache Iceberg
GECI Int. ·
- Category
- Devops
GECI Int. ·
Contexte du poste
Alliance Services Plus (AS+) recherche un(e) Ingénieur(e) Base de Données – Search & Data Platform pour le compte de l’un de ses clients du secteur audiovisuel.
Dans le cadre de la modernisation de sa plateforme de recherche et de gestion de données, le client engage une refonte de son architecture autour de principes cloud-native : clusters de recherche conteneurisés, stockage objet et formats ouverts de data lake.
Vous intégrerez une équipe technique en charge de travaux de preuve de concept et d’intégration amont, avec pour objectif de définir les fondations techniques de la future plateforme et de produire des livrables directement exploitables en phase de construction.
Missions principales
Dans un cadre d’ingénierie et d’expérimentation technique, les missions pourront inclure :
La conception, le déploiement et l’exploitation de clusters ElasticSearch / OpenSearch en environnement de preuve de concept
L’intégration de ces plateformes sur Kubernetes, via opérateurs ou déploiements Helm
La définition des topologies de clusters, des stratégies de réplication, de partitionnement et de cycle de vie des index
La réalisation de tests de charge, de benchmarks de performance et de recommandations de tuning
La définition de procédures de sauvegarde, restauration et reprise d’activité via stockage objet compatible S3
La conduite d’un proof of concept autour d’Apache Iceberg comme format de table pour data lake
L’évaluation des solutions de catalogue, des moteurs de requête et des stratégies de partitionnement et d’évolution de schéma
L’automatisation du provisioning des composants d’infrastructure et de la chaîne de déploiement
La mise en place de solutions d’observabilité (métriques, logs, tableaux de bord)
La rédaction de documentation technique, comptes-rendus d’expérimentation et transfert de connaissances auprès des équipes projet
Environnement technique
Les projets s’appuient principalement sur les technologies suivantes :
Moteurs de recherche : ElasticSearch, OpenSearch
Data lake : Apache Iceberg
Orchestration & conteneurs : Docker, Kubernetes, Helm, opérateurs
Automatisation : Ansible
Stockage objet : S3 et solutions compatibles (MinIO, Ceph, etc.)
Observabilité : Prometheus, Grafana, Kibana / OpenSearch Dashboards
Moteurs de requête (selon périmètre) : Trino, Spark, Flink
Systèmes : Linux, scripting shell, fondamentaux réseau
Profil recherché
Expérience confirmée en exploitation de clusters ElasticSearch ou OpenSearch en environnement de production ou assimilé
Bonne connaissance d’Apache Iceberg, de son modèle de catalogues et de son intégration avec des moteurs analytiques
Maîtrise d’Ansible pour l’automatisation d’infrastructure et des déploiements
Expérience de déploiement et d’exploitation de workloads stateful sur Kubernetes
Bonne compréhension des architectures cloud-native, du stockage objet et des problématiques de performance
Qualités attendues :
Curiosité technique et autonomie
Capacité d’analyse et esprit pragmatique
Aisance rédactionnelle et capacité de formalisation
Capacité à travailler en équipe dans des environnements multi-interlocuteurs
Atouts appréciés :
Connaissance des environnements data lake (Delta Lake, Hudi)
Expérience avec des moteurs analytiques modernes (Trino, Spark, Flink, Dremio)
Expérience CI/CD appliquée à l’infrastructure
Connaissance du secteur audiovisuel, média ou environnements réglementés
Informations complémentaires
Localisation : Bry-sur-Marne (Île-de-France), 2 jours/semaine sur site
Langues : français courant, anglais technique