Databricks/Python Developer Senior | Remote

Há 10 horas

Brasília, Federal District, Brasil Compass UOL Tempo integral


Job type
Full-time employee Full-time employee Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados; Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes; Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados; Manter documentação técnica abrangente para os processos e soluções implementadas. Experiência no desenvolvimento de soluções de dados utilizando Python; Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark); Vivência com processamento, transformação e análise de grandes volumes de dados; Experiência com manipulação e tratamento de dados utilizando Pandas; Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree; Experiência com plataformas de nuvem, especialmente Microsoft Azure; Conhecimento em práticas de qualidade, integridade e monitoramento de dados; Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados. Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados; Conhecimento em otimização de performance de pipelines e processamento distribuído; Familiaridade com documentação técnica de processos, pipelines e soluções de dados. Vale-alimentação e/ou vale-refeição; Plano de saúde e plano odontológico; Plano de saúde para o seu pet; Auxílio home office (para vagas remotas); Seguro de vida; Zenklub, com acompanhamento psicológico e nutricional; Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce); Parcerias e descontos para o seu desenvolvimento; Acesso ao conteúdo UOL; Kit maternidade; Licença maternidade e paternidade estendidas; Programa de indicações. Step 4: Cadastro de Qualificação 4 Cadastro de Qualificação Step 5: Oferta e Negociação 5 Oferta e Negociação