En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una importante plataforma DataHub.
Tus principales responsabilidadesArquitectura y Desarrollo de Datos:
- Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).
- Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
- Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.
Mantenimiento, Soporte y Optimización:
- Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.
- Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.
DevOps, Automatización y Cloud:
- Implementar orquestación y scheduling mediante Apache Airflow.
- Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
- Desarrollar y ejecutar pruebas unitarias y de validación.
- Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).
- Elaborar documentación técnica y operativa del proyecto.
- Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.
- Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
- Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).
- Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.
- Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile.
Valoraremos muy positivamente (Deseables)
- Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud.
- Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), HashiCorp Vault o Dataiku.
- Experiencia o conocimiento del sector bancario.
- Contrato indefinido en un proyecto estable y de larga duración.
- Modalidad de trabajo híbrida (50% teletrabajo / 50% presencial).
- Ubicación: Oficinas en Madrid Río.
- Salario a negociar según la experiencia aportada.
- Plan de formación a medida (certificaciones técnicas, idiomas, etc.).
- Desarrollo profesional continuo dentro de un ambiente de trabajo internacional.
- Plan de Retribución Flexible (seguro médico, ticket restaurante, cheque guardería).
¡No dudes en inscribirte si estás buscando un nuevo reto en el área del dato! xqbhyrx
Compruebe que cumple con los requisitos de habilidades para este puesto, así como con la experiencia asociada, y luego envíe su CV a continuación.
#J-18808-Ljbffr
Hay opciones de teletrabajo/trabajo desde casa disponibles para este puesto.