Snowflake Data Engineer - Advanced English - madrid

Snowflake Data Engineer

En Madrid - hibrido: 2 días a la semana en oficina

Años de experiencia: +5

Inglés: Avanzado

Se encargará de diseñar, crear y optimizar flujos de datos utilizando Snowflake e IDMC.

Creará y mantendrá flujos de trabajo ETL/ELT y flujos de datos utilizando Snowflake e IDMC para procesar grandes conjuntos de datos de manera eficiente.

Diseñará modelos de datos, creará y mantendrá vistas, procedimientos almacenados y otros objetos de base de datos en Snowflake, optimizará el almacenamiento de datos y garantizará la escalabilidad en Snowflake.

Implementará la gobernanza de datos, los controles de acceso y el cifrado para proteger la información confidencial.

Responsabilidades clave:

·Analizar los requisitos empresariales y traducirlos en soluciones técnicas.

·Diseñar, desarrollar e implementar canalizaciones ETL/ELT para migrar datos de Teradata a Snowflake.

·Optimizar los procesos de migración garantizando la integridad, la precisión y el rendimiento de los datos.

·Crear y gestionar objetos de Snowflake (tablas, vistas, esquemas, etapas, procedimientos).

·Implementar estrategias de partición, agrupación en clústeres y ajuste del rendimiento.

·Implementar y gestionar funciones de Snowflake como Snowpipe, Streams, Tasks y Time Travel.

·Desarrollar y mantener modelos de datos, esquemas y procedimientos almacenados en Snowflake SQL.

·Supervisar y ajustar el rendimiento de Snowflake, incluyendo el dimensionamiento del almacén de datos y la optimización de consultas, y garantizar un uso eficiente de los recursos y la optimización de costes.

·Gestionar etapas externas, integraciones de almacenamiento, seguridad de los datos, controles de acceso y permisos basados en roles en Snowflake

·Automatizar la ingesta de datos desde diversas fuentes utilizando conectores de Snowflake y etapas externas con diferentes formatos de archivo, páginas de códigos y cualquier integración con herramientas SaaS (por ejemplo, dbt cloud, Fivetran, Databricks, etc.).

·Reescribir y optimizar scripts SQL, macros y procedimientos almacenados de Teradata para que sean compatibles con Snowflake.

·Desarrollar scripts reutilizables para la automatización de tareas de migración (Python, Shell, etc.).

·Llevar a cabo la conciliación de datos entre Teradata y Snowflake tras la migración.

·Trabajar en estrecha colaboración con arquitectos de datos, analistas y partes interesadas del negocio para comprender los requisitos.

·Documentar los procesos de migración, las mejores prácticas y las soluciones técnicas.

Competencias técnicas:

·Sólida experiencia práctica con el almacén de datos en la nube Snowflake.

·Conocimiento de las funciones de Snowflake: Time Travel, Cloning, Micro-partitions, Streams y Tasks.

·Experiencia práctica en funciones de Snowflake como etapas externas, Snowpipe, integración de almacenamiento, formatos de archivo, RBAC, etc.

·Amplia experiencia con SQL y diversas tecnologías de bases de datos (Oracle, Teradata, SQL Server, PostgreSQL, etc.).

·Conocimiento de las prácticas de DevOps y CI/CD para flujos de datos y flujos de trabajo.

·Experiencia en ingeniería de datos o desarrollo de bases de datos, especialmente en migraciones de datos.

·Experiencia en diferentes estrategias de procesamiento por lotes y de carga/transformación de datos.

·Dominio de la programación de scripts para automatizar tareas regulares o repetitivas (Python, scripts de shell, etc.).

·Conocimiento de la arquitectura de Teradata, SQL y utilidades (BTEQ, FastLoad, MultiLoad, TPT).

·Experiencia en el análisis y la conversión de funciones específicas de Teradata a sus equivalentes en Snowflake.

·Sólidas habilidades analíticas y de resolución de problemas.

·Se valorará la certificación Snowflake SnowPro.

·Se valorará la experiencia en banca y servicios financieros.