Engenheiro De Dados Senio
Há 7 dias
Buscamos um profissional experiente para assumir o papel de Engenheiro de Dados Senior em nossa equipe. Nesta função, você será responsável por desenvolver e manter pipelines de dados escalonáveis usando Azure Databricks para processar e analisar grandes conjuntos de dados.
Responsabilidades
- Desenvolvimento de pipeline de dados: Projetar, desenvolver e manter pipelines de dados escalonáveis para processar e analisar grandes conjuntos de dados.
- Integração de dados: Integrar dados de várias fontes e garantir a qualidade e consistência dos dados ao longo do pipeline.
- Otimização de desempenho: Otimizar o desempenho do processamento de dados e resolver problemas no ambiente do Databricks.
- Colaboração: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
- Documentação: Criar e manter a documentação para processos de dados, arquitetura e fluxos de trabalho.
- Segurança e conformidade: Garantir a segurança dos dados e a conformidade com regulamentos e padrões relevantes.
- Monitoramento e manutenção: Implementar soluções de monitoramento para garantir a confiabilidade do pipeline de dados e realizar manutenção regular.
- Excelentes habilidades de comunicação em inglês para colaborar com equipes multifuncionais.
- Rastreamento de incidentes, solicitações de serviço e alterações para garantir que os SLAs sejam atendidos.
Conhecimentos Técnicos Desejáveis
- Proficiência no uso do Azure Databricks e do Spark para processamento de dados.
- A compreensão da estrutura MDMF será uma vantagem adicional.
- Experiência com SQL e gerenciamento de banco de dados.
- Experiência com serviços de nuvem do Azure, incluindo Azure Data Lake, Banco de Dados SQL do Azure e Armazenamento de Blobs do Azure.
- Capacidade de projetar e implementar modelos de dados complexos.
- Fortes habilidades analíticas e de resolução de problemas.
- Apoiar e interagir com diversas equipes em vários locais e fusos horários.
- Interagir com uma equipe multifuncional para resolver problemas e reunir requisitos.
- Deve ser capaz de rastrear incidentes, solicitações de serviço, solicitações de alteração para garantir que os SLAs sejam atendidos.
Vantagens
Possibilidade de trabalhar em um ambiente dinâmico e diversificado, com oportunidades de crescimento e desenvolvimento profissional.
Otros
Nossa equipe é composta por profissionais apaixonados e experientes na área de dados. Estamos sempre procurando formas de melhorar nossas práticas e processos para proporcionar a melhor experiência possível para nossos clientes.
-
Engenheiro De Dados
1 semana atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro De Dados
1 semana atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion.Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse.Sólida experiência com Databricks e linguagens de script como Spark SQL e...
-
Engenheiro De Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion.Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse.Sólida experiência com Databricks e linguagens de script como Spark SQL e...
-
Engenheiro de Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de Dados
3 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de Dados
2 semanas atrás
Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiroRequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....
-
Engenheiro de dados
3 semanas atrás
Curitiba, Paraná, Brasil Ewave do Brasil Tempo inteiroVocê fará parte de um dos capítulos de Engenheiros de Dados em Curitiba-PR, Brasil, integrante da comunidade global de Engenheiros de Dados da função Digital & IT Data. Além disso, atuará no desenvolvimento de soluções de dados em um time dentro da área de Analytics & BI – Produto de Dados. Requisitos obrigatórios: Formação acadêmica em...
