Requisitos
- 5+ anos de experiência na carreira
- Inglês avançado
- Kafka Connect
Tarefas e Responsabilidades
A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB) — uma plataforma estratégica para integração, governança e descoberta de dados em escala global.
Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise.
O Que Você Fará
- Projetar, implantar e manter clusters Kafka altamente disponíveis e seguros na AWS (MSK ou self-managed).
- Realizar planejamento de capacidade, ajuste de performance e dimensionamento proativo.
- Automatizar infraestrutura e configurações utilizando Terraform e princípios de GitOps.
- Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
- Implementar observabilidade com métricas, painéis em Grafana e alarmes no CloudWatch.
- Desenvolver runbooks para resposta a incidentes, recuperação de desastres e rolling upgrades.
- Garantir conformidade com requisitos de segurança e auditoria (ISO27001).
- Colaborar com times de desenvolvimento fornecendo boas práticas de Kafka para microsserviços em .NET e jobs de streaming no Databricks.
- Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
- Promover melhoria contínua em otimização de custos, confiabilidade e maturidade operacional.
O Que Buscamos
- Experiência: 5+ anos em engenharia de plataforma de dados, nuvem, SRE, DevOps ou infraestrutura, incluindo ao menos 3 anos de prática operando Kafka em produção.
- Kafka: Domínio dos conceitos internos do ecossistema (partições, replicação, ISR, controller quorum, KRaft).
- AWS: Conhecimento avançado em VPC, EC2, MSK, IAM, Secrets Manager e redes.
- Streaming & Integração: Familiaridade com Databricks Structured Streaming e Kafka Connect.
- Segurança & IaC: Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs, design seguro de clusters e Infraestrutura como Código (Terraform preferencialmente).
- CI/CD & Observabilidade: Experiência com pipelines de CI/CD para tópicos/clusters e monitoramento via Grafana, CloudWatch e agregação de logs.
- Automação: Fortes habilidades de scripting (Bash, Python) para automação e criação de ferramentas internas.
- Idioma: Inglês avançado/fluente para comunicação oral e escrita (Upper-Intermediate ou superior).
Diferenciais
- Certificações em Nuvem (preferencialmente AWS).
- Conhecimento em Schema Registry (Protobuf) e governança de schemas.
- Experiência prévia com processamento de dados geoespaciais.
Por Que Se Juntar ao Time?
- Ecossistema Internacional: Atuação em projetos de escala global com impacto direto em infraestrutura segura e sustentabilidade ambiental.
- Cultura de Autonomia: Ambiente colaborativo que equilibra a flexibilidade do trabalho remoto com momentos de conexão do time, baseado em confiança e responsabilidade.
- Crescimento Acelerado: Liberdade para tomar iniciativas, propor soluções inovadoras e evoluir em uma estrutura global.