Data Engineer- Apache Kafka

Estamos à procura de um Data Engineer com experiência em Apache Kafka para integrar uma equipa de desenvolvimento responsável por soluções de dados distribuídas e de elevada escalabilidade.

Terás a oportunidade de trabalhar em projetos de Data Engineering, integração e processamento de dados em tempo real, colaborando com equipas de desenvolvimento, arquitetura e negócio.

Principais responsabilidades

• Desenvolver e manter data pipelines para ingestão, transformação e processamento de grandes volumes de informação;
• Trabalhar com Apache Kafka para implementação de soluções de streaming e comunicação assíncrona entre sistemas;
• Desenvolver e otimizar processos de ETL/ELT;
• Criar e integrar soluções de dados através de APIs e diferentes fontes de informação;
• Garantir a qualidade, consistência e disponibilidade dos dados;
• Participar no desenho e evolução de arquiteturas de dados escaláveis;
• Monitorizar e resolver problemas relacionados com pipelines e processos de ingestão;
• Colaborar com equipas Agile/DevOps no desenvolvimento, testes e deployment das soluções;
• Contribuir para a melhoria contínua da performance, fiabilidade e automação da plataforma de dados.

Requisitos

• Experiência profissional em Data Engineering;
• Experiência prática com Apache Kafka;
• Conhecimentos sólidos de SQL;
• Experiência com Python ou outra linguagem orientada para processamento de dados;
• Experiência com ETL/ELT e data pipelines;
• Conhecimentos de bases de dados relacionais e/ou NoSQL;
• Experiência em ambientes Cloud será valorizada;
• Conhecimentos de Docker, Kubernetes ou CI/CD serão valorizados;
• Capacidade de trabalhar em ambientes distribuídos e com grandes volumes de dados;
• Boa capacidade analítica, autonomia e trabalho em equipa;
• Inglês profissional.

Modelo de trabalho

• Regime híbrido;
• 2 dias por mês no escritório;
• Localização: Lisboa ou Porto.