Data engineer sr
Dock · Barueri, Brazil ·
- Work mode
- Remote
- Seniority
- Senior
- Category
- Data engineering
Dock · Barueri, Brazil ·
Dock Group · Brazil
Integrity Group · Barueri, Brazil
Compass UOL · Brasil
Senior data engineer at Dock, a Latin American fintech, building Databricks-based pipelines (Unity Catalog, Delta) that turn the data lake into reliable, point-in-time datasets for training, evaluating and serving ML foundation models, with focus on data quality, privacy/LGPD and low-latency feature serving.
Quem é a Dock?
Há mais de 20 anos, cumprimos a missão de democratizar o acesso a serviços financeiros, tornando experiências financeiras mais simples e acessíveis. Somos um time de pessoas obstinadas, que acreditam na tecnologia e nos serviços como os principais facilitadores para a evolução de nossos clientes e a transformação do papel das finanças. Atuando em 11 localidades pela América Latina, trabalhamos sob o propósito de desmaterializar o universo financeiro para impulsionar a sociedade.
Como é o nosso time de Plataforma de Dados?
Você fará parte de um time focado na construção de pipelines que transformam o nosso data lake em datasets de eventos confiáveis, versionados e sem vazamento temporal. Nossa missão é garantir a fundação de dados para o treinamento, avaliação e serving de modelos de fundação. Sem dado correto no tempo correto, nenhum modelo vale algo, e você será a pessoa responsável por garantir isso.
E o dia a dia, como será?
Buscamos por talentos inigualáveis para nos ajudar a espalhar o poder financeiro! Nesta função, você irá:
Implementar Extração Reprodutível: Construir pipelines a partir do Databricks (Unity Catalog, Delta), aplicando contratos de dados, particionamento e amostragem determinística.
Construir Históricos Confiáveis: Desenvolver tabelas as-of / point-in-time e snapshots, tratando os dados que só guardam o último valor como risco direto para o treinamento de modelos.
Trabalhar com Sequências em Escala: Tokenizar e empacotar dados de sequência (Parquet por faixa de tamanho, batching dinâmico) e estruturar dataloaders eficientes para processamento em GPU.
Garantir a Qualidade e Monitoramento: Vigiar a saúde dos dados de sequência (esquemas, drift, nulos, duplicidade e identidade das entidades).
Aplicar Privacidade na Prática: Estruturar pseudonimização, controle de acesso e trilhas de auditoria, alinhados rigorosamente à LGPD e aos requisitos de segurança de pagamentos.
Construir Serving de Features: Estruturar a camada de inferência (serving) de features e embeddings com baixa latência, mantendo logs de chamadas para reconstruir exatamente o que o modelo avaliou em cada decisão.
O que esperamos de você?
5+ anos de sólida experiência em Engenharia de Dados ou de Machine Learning.
Domínio de Spark/PySpark, Delta Lake e SQL avançado, com vivência prévia no ecossistema Databricks.
Proficiência em Python para produção, incluindo testes e CI voltados a pipelines de dados.
Experiência consolidada lidando com dados transacionais sensíveis e entendimento prático aprofundado sobre vazamento temporal (data leakage) e snapshots.
Postura rigorosa e questionadora: versionar o dataset junto com o código, escrever contratos de dados antes do pipeline e, principalmente, perguntar primeiro se "esse dado existia na hora da decisão?".
É desejável que você tenha:
Conhecimento em MLflow, Feature Store, Ray e fluxos de dados em streaming.
Vivência prática com PyTorch DataLoader ou processos de leitura em streaming voltados para treinamento de modelos.
Experiência nos domínios de pagamentos, transações Pix, cartões de crédito ou adquirência.
Noções de infraestrutura como código (Terraform) e modelagem voltada a serving de baixa latência.
E quais são os benefícios?
Auxílio alimentação (mercado & restaurante);
Plano de saúde e odontológico;
Hospital digital;
Suporte psicológico para psicoterapia online;
Orientação ergonômica;
Wellhub e TotalPass;
Auxílio mensal para despesas remote first;
Previdência privada após 6 meses de trabalho;
Licença parental estendida;
Auxílio creche;
Auxílio para pais de filhos especiais;
Plataforma de idiomas;
Disponibilidade de coworking no Brasil inteiro.
Keyrus Brazil · São Paulo, BR