Engenheiro de dados azure sênior

NOSSO NEGÓCIO Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam. Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado. Nosso maior sonho? Impactar empresas e pessoas. O QUE ESPERAMOS DE VOCÊ? Estamos buscando um Engenheiro de Dados Databricks altamente qualificado para integrar nossa equipe de engenharia de dados. Nesta função, você será responsável por construir, otimizar e manter pipelines de dados escaláveis e soluções analíticas utilizando a plataforma Databricks Unified Analytics. Trabalhará em estreita colaboração com cientistas de dados, analistas e stakeholders para apoiar a tomada de decisões baseada em dados. RESPONSABILIDADES: Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake. Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks. Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes (armazenamento em nuvem, APIs, RDBMS, etc.). Implementar verificações de qualidade dos dados, validações e mecanismos de monitoramento. Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos e pipelines de dados. Gerenciar e monitorar a execução dos pipelines com ferramentas como Databricks Workflows ou Airflow. Garantir governança de dados, rastreabilidade e conformidade com boas práticas de segurança e privacidade (ex.: Unity Catalog, controle baseado em funções). Contribuir para a melhoria contínua da plataforma de dados por meio de automação, reutilização e documentação. PARA ESSA OPORTUNIDADE VOCÊ PRECISA TER: Experiência prática em engenharia de dados, trabalhando com Databricks. Proficiência em PySpark, SQL e processamento distribuído de dados. Compreensão sólida do Delta Lake, arquitetura Lakehouse e princípios de modelagem de dados. Experiência com plataformas em nuvem Azure. Familiaridade com pipelines CI/CD e controle de versão (ex.: Git, GitHub, Azure DevOps). Experiência com ferramentas de orquestração (ex.: Airflow, Workflows do Databricks). Conhecimento sobre formatos modernos de dados como Parquet, Avro e JSON. Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos. SERIAM PONTOS DE DESTAQUE SE VOCÊ TIVER: Experiência com Unity Catalog, Databricks SQL ou integrações via Partner Connect. Familiaridade com ferramentas BI como Power BI. Exposição a fluxos de trabalho de machine learning ou MLOps no Databricks é um diferencial PARA UMA VIDA MAIS SAUDÁVEL, TE PROPORCIONAMOS: Política de Home Office Plano de saúde, com cobertura nacional Plano odontológico Convênio com Sesc Wellhub TE APOIAMOS COM: Vale refeição ou alimentação Auxílio creche Participação nos resultados Licença parental estendida Plano de desenvolvimento individual/anual com subsídio para capacitação Treinamento do idioma inglês Programa de intercâmbio (USA) Nossas vagas são para todosValorizamos a diversidade, pois ela impulsiona a inovação, fortalece nossas soluções e torna nosso ambiente mais inclusivo. Cada diferença é uma oportunidade de aprendizado, tornando nosso dia a dia mais inspirador e nossas entregas ainda melhores.