Banco de Talentos

Há 24 horas

Manaus, Amazonas, Brasil Sauter Tempo integral
Banco de Talentos
- Databricks Data Engineer (Remoto) Publicada 15 de Outubro Estamos construindo nosso banco de talentos para futuras oportunidades de Engenharia de Dados nos níveis Pleno e Sênior. Buscamos pessoas com experiência em desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks, que queiram fazer parte de projetos que envolvem qualidade, escalabilidade e governança de dados.

Responsabilidades:
Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark. Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold). Otimizar a performance de jobs Spark e consultas SQL em larga escala. Implementar e manter processos de ETL/ELT orquestrados com Databricks Workflows, Airflow e ferramentas similares. Garantir a qualidade, consistência e governança dos dados, utilizando recursos como Unity Catalog e testes de dados. Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software. Documentar processos, arquiteturas e decisões técnicas. Participar de revisões de código e contribuir para boas práticas de Engenharia de Dados. Requisitos mínimos: Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake) Sólido conhecimento em Apache Spark (PySpark e/ou Scala) Experiência com SQL avançado para modelagem e otimização de queries Conhecimento em Python para desenvolvimento de pipelines de dados Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar) Familiaridade com versionamento de código (Git) e práticas de CI/CD Conhecimento em modelagem de dados (dimensional, normalização) Experiência com um provedor de cloud (AWS, Azure ou GCP) Inglês técnico para leitura de documentação 3+ anos de experiência em engenharia de dados Requisitos desejáveis: Certificações Databricks (Data Engineer Associate/Professional) Experiência com Delta Live Tables (DLT) Conhecimento em Unity Catalog para governança e segurança de dados Experiência com streaming de dados (Kafka, Structured Streaming) Vivência com ferramentas de transformação analítica (dbt) Conhecimento em Infraestrutura como Código (Terraform) Experiência com testes de qualidade de dados (Great Expectations, dbt tests) Vivência em ambientes de Machine Learning (MLflow) é um diferencial Experiência prévia em squads ágeis (Scrum/Kanban) Conhecimento em ferramentas de observabilidade e monitoramento de pipelines Conhecimento em D365