Data Engineer

Projeto:
\Estabelecer e manter controles robustos sobre releases, versões e atualizações de serviços e plataformas em nuvem, será necessário executar as seguintes atividades:

• Monitorar e documentar atualizações, lançamentos de versões e mudanças nos serviços e plataformas em nuvem

• Avaliar e documentar os impactos potenciais

• Estabelecer um processo de comunicação contínua e constante

Responsabilidades:
\Monitorar e acompanhar atualizações, lançamentos de versões e mudanças nos serviços e plataformas em nuvem
\Realizar triagem e avaliações iniciais dos impactos potenciais de atualizações, releases e mudanças nos serviços e plataformas em nuvem
\Compreender o ambiente/stack de TI existente e os planos estratégicos para a evolução desse ambiente/stack
\Melhorar soluções e pipelines de dados “transversais” já existentes, utilizados por outros times de engenharia de dados
\Desenvolver pipelines e soluções de dados em prova de conceito (PoC) que possam ser reutilizados por outros times de engenharia de dados
\Apoiar o desenvolvimento, upgrade e configuração de recursos do Azure utilizados pelo ambiente analítico
\Auxiliar na definição de padrões e políticas para a arquitetura de Data Lakehouse, com base em componentes existentes, necessidades de negócio e melhores práticas
\Apoiar a criação e atualização de diagramas de arquitetura

Outros Requisitos e qualificações, ferramentas, habilidades, cursos e certificações:
\Especialidade: Engenharia de Dados
\Anos de experiência: 2 anos de experiência em Engenharia de Dados, Arquitetura de Dados, Operações em Cloud ou funções correlatas de Operações de TI
\Idiomas: Inglês obrigatório; conhecimento de espanhol, português ou francês é desejável
\Experiência obrigatória com os seguintes recursos do Azure:
Azure Databricks
Conhecimento básico de configuração e administração de Workspaces
Unity Catalog
External Locations
LakeFlow Pipelines (diferencial)
Databricks Asset Bundles (diferencial)
Azure Data Lake Storage Gen2
Conceitos de Azure Entra ID:
Aplicações corporativas / aplicações registradas / service principals
Grupos do Entra ID
Funcionalidades de IAM
\Experiência desejável com os seguintes recursos do Azure:
Azure API Management Service
Azure Key Vault
Redes virtuais
Network Security Groups
application Security Groups
Private Endpoints
Azure Service Bus
Azure Monitor
Application Insights
Log Analytics Workspace
Regras de alerta
Azure SQL Servers
SQL Databases