Data Engineering Associate II

Responsibilities

• Diseñar, construir, automatizar y mantener procesos de ingesta, transformación, calidad y disponibilidad de datos
• Participar en la ejecución de procesos operativos de complejidad media y alta
• Asegurar el cumplimiento de estándares de calidad, productividad, seguridad y trazabilidad definidos por el área

Requirements

• Python para desarrollo de procesos, automatización, consumo de APIs y manejo de datos
• PySpark y Apache Spark para procesamiento distribuido y transformación de grandes volúmenes de información
• SQL avanzado para consultas, modelado y optimización de bases de datos
• Diseño y operación de pipelines ETL/ELT
• Manejo de Hadoop, HDFS y ecosistemas Big Data
• Control de versiones con Git
• Linux, scripting Bash y automatización de tareas
• Contenedores Docker o Podman
• Conocimiento de calidad, gobierno, seguridad y trazabilidad de datos
• Servicios AWS, especialmente Amazon S3, Athena, Glue, EMR, Lambda, IAM y SageMaker

Core Competencies

Proficient in designing, building, automating, and maintaining data ingestion, transformation, and quality processes. Expertise in Python, SQL, and Big Data technologies, ensuring compliance with data quality and security standards.

Highest-signal resume keywords

• Python Development
• Advanced SQL
• ETL/ELT Pipeline Design
• AWS Services
• Big Data Ecosystem Management

Hard Skills

• Python
• PySpark
• Apache Spark
• Advanced SQL
• ETL/ELT Design
• Hadoop
• HDFS
• Git
• Linux
• Bash Scripting

Industry Keywords

• Data Quality
• Data Governance
• Data Security
• Data Traceability

Tools & Technologies

• Docker
• Podman
• AWS S3
• AWS Athena
• AWS Glue
• AWS EMR
• AWS Lambda
• AWS IAM
• AWS SageMaker