Engenheiro de Dados Azure Sênior

Há 3 dias

Brasil Dataside Soluções em Banco de Dados Tempo inteiro
Engenheiro de Dados Azure Sênior (Remoto)

Dataside, São José dos Campos, São Paulo, Brazil



Resumo

Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.



Responsabilidades
  • Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
  • Construir pipelines de dados utilizando Azure Data Factory.
  • Construir notebooks em Python e SQL utilizando Databricks.
  • Construir Modern Data Warehouse com Synapse Analytics (Serverless Dedicated).
  • Desenvolver Data Governance utilizando Unity Catalog ou Purview.
  • Trabalhar com ingestões de dados em Data Lakehouse.
  • Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
  • Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
  • Usar junções de vários tipos (inner, outer e natural).
  • Usar subqueries de vários tipos (seleção, atualização e exclusão).
  • Usar funções agregadas de vários tipos.
  • Utilizar SQL com grandes conjuntos de dados e para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
  • Utilizar PySpark para análise exploratória de dados (EDA) de forma eficiente e escalável.
  • Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
  • Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.
  • Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
  • Utilizar ferramentas de CI/CD para automação eficiente.
  • Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.


Requisitos
  • Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
  • Alto conhecimento em arquitetura de Big Data end-to-end.
  • Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
  • Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
  • Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
  • Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
  • Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
  • Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
  • Projetar e implementar modelos de dados para lidar com dados em tempo real.
  • Projetar e implementar modelos de dados para lidar com dados de várias fontes.
  • Experiência em liderar engenheiros de dados Jr. e Pleno.


Hard skills
  • Python, SQL.
  • Azure (Data Factory, Data Lake, Synapse).
  • Databricks, Spark SQL, PySpark.


Incentivos
  • Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
  • Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
  • Terapia online 100% custeada pela empresa, porque saúde mental importa.
  • Atendimento em Nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
  • Seguro de vida com apólice no valor de R$125 mil, garantindo mais segurança para você e sua família.
  • Day off no aniversário, porque o seu dia merece ser especial.
  • Descanso remunerado, para que você possa recarregar as energias.
  • Gamificação interna, transformando conquistas em prêmios e reconhecimento.
  • Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
  • Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.


Observações

Atuação remota.

#J-18808-Ljbffr

  • Engenheiro de Dados Azure Sênior

    4 semanas atrás

    Brasil Datruvia Tempo inteiro

    Engenheiro de Dados Azure Sênior (com foco inicial em Infraestrutura Azure)Engenheiro de Dados Azure Sênior (com foco inicial em Infraestrutura Azure)Contratação: PJ - Projeto por tempo indeterminadoSobre a posição:Estamos em um momento estratégico de evolução da área de dados. A prioridade atual é estruturar e consolidar a infraestrutura na...

  • Engenheiro a de dados senior

    Há 5 dias

    Brasil Netvagas Tempo inteiro

    Join to apply for the Engenheiro a de dados senior role at Netvagas Join to apply for the Engenheiro a de dados senior role at Netvagas Com um time multidisciplinar, que combina a abordagem de Tecnologia, Analytics e Gestão, valorizando a qualidade técnica, buscamos solucionar os grandes desafios de negócios do mundo atual. Na EloGroup você terá...

  • Engenheira o de dados senior databricks

    Há 5 dias

    Brasil Netvagas Tempo inteiro

    Join to apply for the Engenheira o de dados senior databricks role at Netvagas Join to apply for the Engenheira o de dados senior databricks role at Netvagas Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem...

  • Pessoa Engenheira de Dados Sênior

    4 semanas atrás

    Brasil AMcom Sistemas de Informação Tempo inteiro

    Join to apply for the Pessoa Engenheira de Dados Sênior role at AMcom Sistemas de InformaçãoJoin to apply for the Pessoa Engenheira de Dados Sênior role at AMcom Sistemas de InformaçãoSomos inspired by tech powered by people. Por isso, precisamos de pessoas apaixonados por desafios e com sede de aprendizado contínuo.Buscamos por novos makers para...

  • Engenheiro de Dados Senior

    2 semanas atrás

    Brasil Escale Digital Tempo inteiro

    Join to apply for the Engenheiro de Dados Senior role at Escale Digital Join to apply for the Engenheiro de Dados Senior role at Escale Digital Hey Somos a Escale ;)Uma scale-up de tecnologia que leva as maiores marcas de serviços essenciais ao futuro da aquisição digital. Como? Vem que a gente te conta:Com a nossa cultura Data-Driven e tecnologia...

  • Engenheiro de Dados Senior

    3 semanas atrás

    Brasil Escale Digital Tempo inteiro

    Join to apply for the Engenheiro de Dados Senior role at Escale DigitalJoin to apply for the Engenheiro de Dados Senior role at Escale DigitalHey Somos a Escale ;)Uma scale-up de tecnologia que leva as maiores marcas de serviços essenciais ao futuro da aquisição digital. Como? Vem que a gente te conta:Com a nossa cultura Data-Driven e tecnologia própria,...

  • Engenheira o de dados senior databricks

    3 semanas atrás

    Brasil Netvagas Tempo inteiro

    Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que...

  • Engenheira o de dados senior databricks

    2 semanas atrás

    Brasil Netvagas Tempo inteiro

    Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que...

  • Pessoa Engenheira de Dados Azure

    4 semanas atrás

    Brasil NTT DATA Europe & Latam Tempo inteiro

    Projetos desafiadores, que buscam cada vez mais soluções tecnológicas e humanas na experiência e no contato com as pessoas.Nossa cultura de mente aberta torna o ambiente horizontal para que as decisões sejam tomadas com base em fatos e dados, colocando os interesses dos clientes sempre em primeiro lugar.Uma empresa de pessoas que trabalham com autonomia...

  • Engenheiro(a) de Dados Sênior

    1 dia atrás

    Brasil FCamara Consulting & Training Tempo inteiro

    Engenheiro(a) de Dados Sênior | Arquitetura de Dados – Stack Microsoft (Azure | Databricks)Join to apply for the Engenheiro(a) de Dados Sênior | Arquitetura de Dados – Stack Microsoft (Azure | Databricks) role at FCamara Consulting & Training.Atuação na concepção e implementação de arquiteturas de dados modernas, escaláveis e seguras em...