Engenheiro(a) de dados pleno

Sobre a oportunidade

Estamos em busca de uma pessoa Engenheira de Dados Pleno com experiência em Azure Databricks para atuar em um grande banco privado, participando de iniciativas de migração e modernização do ambiente de dados.

O desafio envolve a evolução de soluções de engenharia de dados, incluindo a migração de processos legados desenvolvidos em PowerCenter para uma arquitetura moderna baseada em Azure Databricks.

Buscamos uma pessoa com experiência em Python, PySpark e SQL, que tenha conhecimento em engenharia reversa de ETLs e capacidade de analisar fluxos existentes, compreender regras de negócio e garantir a consistência dos dados durante o processo de modernização.

Responsabilidades

• Atuar na migração e modernização de projetos utilizando Python, SQL, Spark e Azure Databricks.

• Desenvolver e manter pipelines de dados e processos de orquestração no Azure Data Factory.

• Analisar e otimizar a performance e a escalabilidade dos processos de dados.

• Desenvolver rotinas de automação para agilizar processos de homologação.

• Realizar sustentação e manutenção das soluções de engenharia de dados implantadas.

• Trabalhar em conjunto com equipes multidisciplinares para entender requisitos e entregar soluções.

• Realizar engenharia reversa de ETLs, analisando e interpretando workflows, mapplets, mappings e sessions existentes no PowerCenter, identificando regras de negócio e dependências dos processos legados.

• Conduzir validações de qualidade e consistência dos dados entre o ambiente legado (PowerCenter) e o novo ambiente, realizando testes de volumetria e integridade.

O que esperamos de você

• Experiência com ferramentas de inteligência artificial aplicadas ao desenvolvimento, como GitHub Copilot, Devin, Claude Code e Cursor.

• Mínimo de 3 anos de experiência com Python e PySpark.

• Experiência prática com Azure Databricks e Apache Spark.

• Bons conhecimentos em SQL e PL/SQL.

• Conhecimento dos principais serviços Azure, como Data Factory, Storage Accounts e Blob Storage.

• Conhecimento em engenharia reversa de ETLs, com capacidade de analisar e interpretar processos legados.

• Noções de programação orientada a objetos.

• Familiaridade com Git para versionamento de código.

• Conhecimento de processamento de dados em lote (Batch).

Será um diferencial

• Experiência com ambientes de Big Data on-premises, como Cloudera, Hadoop, Hive e HBase.

• Noções de CI/CD e ferramentas como Jenkins.

• Conhecimento em orquestradores de processos, como Control-M.

• Capacidade de leitura e interpretação de código Java.

• Noções de containers e tecnologias como Docker e Kubernetes/AKS.

Vamos construir o que importa?

Se você gosta de engenharia de dados, tem experiência com modernização de ambientes e quer participar de desafios que envolvem evolução tecnológica e transformação de soluções legadas, essa oportunidade pode ser para você

Vem construir o que importa com a BRQ

Vaga - bbbd8f

#LI-JO1

#LI-Hybrid