Pessoa Engenheira de Dados Sênior

Descrição da vaga

Buscamos uma Pessoa Engenheira de Dados Sênior para atuar dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, nascida das exigências do Open Finance.

Você será a referência do squad na camada de dados da plataforma: Apache Iceberg sobre S3 Tables, Glue Catalog, contrato de dados com o pipeline Dataflow que materializa datasets semanais de dezenas de milhões de linhas, e geração e curadoria de dados de teste em volume representativo. A posição exige domínio de formatos colunares, particionamento, custo de leitura e consistência temporal, atuando em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.

Responsabilidades e atribuições

• Desenhar e manter a integração da plataforma com S3 Tables, Apache Iceberg e Glue Catalog, garantindo leitura eficiente de grandes volumes.
• Definir e validar o contrato de dados com o pipeline Dataflow do banco (esquemas, partições, snapshots, safe cut e evolução de schema).
• Otimizar layout de dados, particionamento e partition pruning para desempenho e controle de custo do Data Lake.
• Gerar e curar dados de teste em volume representativo (dezenas de milhões de registros) para testes de carga e homologação.
• Apoiar o desenho de dados sobre Spanner, MongoDB (Event Store e plano de controle) e BigQuery, conforme a arquitetura definida pelo banco.
• Implementar e validar policies de campo, mascaramento de PII e requisitos de compliance na entrega de dados.
• Apoiar a replicação do plano de controle (Data Products e Data Policies) entre AWS e GCP.
• Construir validações de qualidade e consistência de dados, com observabilidade de custo por consulta, DataSource e consumidor.
• Escrever testes automatizados, participar de code review e seguir as esteiras e padrões do banco.
• Participar de refinamento, planning, daily conjunta, review e retrospectiva com o product owner e os times do banco.
• Produzir ADRs, runbooks e documentação viva e conduzir sessões técnicas de transferência de conhecimento.
• Utilizar ferramentas de IA aplicadas ao desenvolvimento (GitHub Copilot, Claude Code ou similares) com senso crítico sobre o resultado gerado.

Requisitos e qualificações

• Sólida experiência em engenharia de dados em produção, com Data Lake e Lakehouse em nuvem.
• Conhecimento de GCP para dados (Dataflow, BigQuery, Spanner).
• Experiência com S3 Tables e ambientes multi-cloud (AWS e GCP).
• Domínio de Apache Iceberg e Parquet (snapshots, partições, evolução de schema, compactação e otimização de leitura).
• Experiência com AWS para dados (S3, Glue Catalog, Athena ou EMR).
• Experiência com bancos NoSQL (MongoDB ou equivalentes) e modelagem de documentos.
• Domínio de SQL e de Python ou Go aplicados a dados.
• Vivência com contratos de dados, governança, qualidade e requisitos de PII.
• Experiência com pipelines batch e streaming e arquiteturas orientadas a eventos.
• Vivência com Git, CI/CD e testes automatizados de pipelines.
• Atuação em metodologias ágeis (Scrum/Kanban).
• Disponibilidade para trabalho remoto no fuso de Brasília e presenças pontuais em São Paulo.

Diferenciais

• Experiência em bancos, fintechs ou instituições financeiras, com contato com Open Finance.
• Conhecimento de Data Mesh, Data Products e contratos de dados.
• Experiência com Kubernetes, Terraform e FinOps de dados.
• Familiaridade com Go.
• Certificações em AWS, GCP ou Databricks.
• Inglês para leitura de documentação técnica.

Informações adicionais:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.