DescriçãoBuscamos um(a) Engenheiro(a) DevOps Sênior para atuar na construção, automação, padronização e operacionalização de ambientes utilizados em projetos de soluções de TI com forte componente de dados.
A posição terá atuação transversal entre DevOps Engineering, Platform Engineering e DataOps, trabalhando desde o ciclo de desenvolvimento e integração contínua até o provisionamento de infraestrutura, deployment, observabilidade e operação de plataformas e produtos de dados.
Nosso contexto envolve projetos para empresas dos setores de mineração, metalurgia, siderurgia, açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, geralmente com elevados requisitos de disponibilidade, segurança, rastreabilidade e integração entre múltiplas tecnologias.
Utilizamos Azure DevOps como plataforma central para repositórios, pipelines, boards, gestão de releases e automação do ciclo de desenvolvimento.
Responsabilidades e atribuições- DevOps Engineering
- Definir e implementar estratégias de CI/CD para aplicações e componentes de dados.
- Construir e manter pipelines de integração contínua, build, testes e validação de código.
- Implementar quality gates, análise de código e controles de segurança em pipelines.
- Estruturar estratégias de branching, versionamento e gestão de repositórios Git.
- Automatizar processos de build, release, deployment e rollback.
- Promover padronização de pipelines e templates reutilizáveis.
- Administrar e otimizar componentes do Azure DevOps relacionados a Repos, Pipelines e Artifacts.
Platform Engineering- Provisionar e configurar ambientes de desenvolvimento, homologação e produção.
- Automatizar infraestrutura utilizando Infrastructure as Code.
- Trabalhar com Terraform, Bicep, ARM ou tecnologias equivalentes.
- Criar e administrar ambientes containerizados com Docker.
- Implantar e operar workloads em Kubernetes quando aplicável.
- Configurar gerenciamento de secrets, identidade, permissões e RBAC.
- Apoiar desenho de alta disponibilidade, backup e disaster recovery.
- Implementar padrões de observabilidade para infraestrutura e aplicações.
- Trabalhar com logs, métricas, traces e alertas.
- Atuar na gestão e otimização de custos em cloud, aplicando práticas de FinOps em ambientes Azure e AWS.
- Analisar consumo, sizing, reservas, Savings Plans, storage, compute, schedules e recursos ociosos, propondo ações de otimização de custo.
- Apoiar definição de tagging, budgets, alerts, chargeback/showback e governança de custos por ambiente, projeto ou centro de custo.
DataOps- Implementar CI/CD específico para pipelines, notebooks, SQL, DAGs e produtos de dados.
- Automatizar promoção de artefatos de dados entre ambientes.
- Implementar padrões de configuração por ambiente.
- Apoiar implementação de testes automatizados em pipelines de dados.
- Estruturar mecanismos de Data Observability.
- Apoiar definição e implementação de SLA e SLO de dados.
- Criar mecanismos de monitoramento de disponibilidade, qualidade, volume e freshness.
- Apoiar processos de gestão de incidentes de dados.
- Implementar práticas de confiabilidade para pipelines, incluindo retries, idempotência, checkpoints e reprocessamento.
- Trabalhar em conjunto com engenheiros de dados na operacionalização de Airflow, Databricks e demais plataformas.
Requisitos e qualificaçõesConhecimentos técnicos esperados- Azure DevOps.
- Git.
- CI/CD.
- YAML pipelines.
- Docker.
- Infrastructure as Code.
- Terraform.
- Microsoft Azure.
- AWS.
- Linux.
- Scripting com Bash, PowerShell ou Python.
- Gestão de secrets e identidade.
- Monitoramento e observabilidade.
- Networking em ambientes cloud.
- Controle de acesso e RBAC.
- Automação de ambientes.
- FinOps aplicado a Azure e AWS.
- Gestão de custos, budgets, tagging, chargeback/showback e otimização de recursos cloud.
Conhecimentos importantes para o contexto de dados- Apache Airflow.
- Databricks.
- Conceitos de Data Lake e Lakehouse.
- Spark e PySpark.
- Pipelines de dados.
- Orquestração de workloads.
- Data Observability.
- Data Quality.
- Ambientes de desenvolvimento, homologação e produção para dados.
- Versionamento e deployment de notebooks, jobs e pipelines.