Engenheiro de Dados Azure Sênior

3 semanas atrás

Brasil Dataside Soluções em Banco de Dados Tempo inteiro
Engenheiro de Dados Azure Sênior (Remoto)

Dataside, São José dos Campos, São Paulo, Brazil



Resumo

Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.



Responsabilidades
  • Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
  • Construir pipelines de dados utilizando Azure Data Factory.
  • Construir notebooks em Python e SQL utilizando Databricks.
  • Construir Modern Data Warehouse com Synapse Analytics (Serverless Dedicated).
  • Desenvolver Data Governance utilizando Unity Catalog ou Purview.
  • Trabalhar com ingestões de dados em Data Lakehouse.
  • Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
  • Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
  • Usar junções de vários tipos (inner, outer e natural).
  • Usar subqueries de vários tipos (seleção, atualização e exclusão).
  • Usar funções agregadas de vários tipos.
  • Utilizar SQL com grandes conjuntos de dados e para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
  • Utilizar PySpark para análise exploratória de dados (EDA) de forma eficiente e escalável.
  • Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
  • Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.
  • Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
  • Utilizar ferramentas de CI/CD para automação eficiente.
  • Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.


Requisitos
  • Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
  • Alto conhecimento em arquitetura de Big Data end-to-end.
  • Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
  • Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
  • Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
  • Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
  • Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
  • Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
  • Projetar e implementar modelos de dados para lidar com dados em tempo real.
  • Projetar e implementar modelos de dados para lidar com dados de várias fontes.
  • Experiência em liderar engenheiros de dados Jr. e Pleno.


Hard skills
  • Python, SQL.
  • Azure (Data Factory, Data Lake, Synapse).
  • Databricks, Spark SQL, PySpark.


Incentivos
  • Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
  • Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
  • Terapia online 100% custeada pela empresa, porque saúde mental importa.
  • Atendimento em Nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
  • Seguro de vida com apólice no valor de R$125 mil, garantindo mais segurança para você e sua família.
  • Day off no aniversário, porque o seu dia merece ser especial.
  • Descanso remunerado, para que você possa recarregar as energias.
  • Gamificação interna, transformando conquistas em prêmios e reconhecimento.
  • Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
  • Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.


Observações

Atuação remota.

#J-18808-Ljbffr

  • Engenheiro de Dados Sênior

    2 semanas atrás

    Brasil Meta Tempo inteiro

    Join to apply for the Engenheiro de Dados Sênior role at MetaJoin to apply for the Engenheiro de Dados Sênior role at MetaAtribuições PrincipaisConstrução e implementações de arquiteturas com Data Warehouse e Datalake;O que procuramos?Engenheiro de Dados SêniorAtribuições PrincipaisConstrução e implementações de arquiteturas com Data Warehouse...

  • Engenheiro a de dados senior

    4 semanas atrás

    Brasil Netvagas Tempo inteiro

    Join to apply for the Engenheiro a de dados senior role at Netvagas Join to apply for the Engenheiro a de dados senior role at Netvagas Com um time multidisciplinar, que combina a abordagem de Tecnologia, Analytics e Gestão, valorizando a qualidade técnica, buscamos solucionar os grandes desafios de negócios do mundo atual. Na EloGroup você terá...

  • Engenheira o de dados senior databricks

    4 semanas atrás

    Brasil Netvagas Tempo inteiro

    Join to apply for the Engenheira o de dados senior databricks role at Netvagas Join to apply for the Engenheira o de dados senior databricks role at Netvagas Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem...

  • Engenheiro(a) de Dados Sênior

    2 semanas atrás

    Brasil Cadastra Tempo inteiro

    Join to apply for the Engenheiro(a) de Dados Sênior - GCP role at CadastraJoin to apply for the Engenheiro(a) de Dados Sênior - GCP role at CadastraQuer fazer a diferença na nova economia e transformar pessoas e negócios para prosperarem? Vem pra CadastraProcuramos um(a) Engenheiro(a) de Dados Sênior, com especialização profunda no ecossistema Google...

  • ENGENHEIRO(A) DE DADOS SÊNIOR – Azure

    2 semanas atrás

    Brasil Dadoteca Tempo inteiro

    Buscamos um(a) Engenheiro(a) de Dados Sênior com forte expertise em Azure e Databricks, capaz de liderar iniciativas estratégicas de dados, projetando arquiteturas robustas, escaláveis e de alta performance. Este(a) profissional será referência técnica dentro da equipe, conduzindo boas práticas, apoiando decisões de arquitetura e garantindo que os...

  • Engenheiro(a) de Dados Sênior

    3 semanas atrás

    Brasil FCamara Consulting & Training Tempo inteiro

    Engenheiro(a) de Dados Sênior | Arquitetura de Dados – Stack Microsoft (Azure | Databricks)Join to apply for the Engenheiro(a) de Dados Sênior | Arquitetura de Dados – Stack Microsoft (Azure | Databricks) role at FCamara Consulting & Training.Atuação na concepção e implementação de arquiteturas de dados modernas, escaláveis e seguras em...

  • Engenheiro a de dados senior brasil

    4 semanas atrás

    Brasil Netvagas Tempo inteiro

    DescriçãoVocê na DeloitteNa Deloitte, buscamos pessoas que queiram gerar impactos positivos todos os dias. Impulsionamos talentos para que possam se desenvolver em um ambiente colaborativo, com times diversos e que tragam energia, empoderamento, interação e conexões. O nosso crescimento é exponencial porque os talentos que recrutamos possuem os nossos...

  • Engenheiro a de dados senior brasil

    3 semanas atrás

    Brasil Netvagas Tempo inteiro

    DescriçãoVocê na DeloitteNa Deloitte, buscamos pessoas que queiram gerar impactos positivos todos os dias. Impulsionamos talentos para que possam se desenvolver em um ambiente colaborativo, com times diversos e que tragam energia, empoderamento, interação e conexões. O nosso crescimento é exponencial porque os talentos que recrutamos possuem os nossos...

  • Engenheiro de dados Sênior

    3 semanas atrás

    Brasil Thera Consulting Tempo inteiro

    Engenheiro de dados Sênior na Thera Consulting – atuação remota; início imediato; período de 3 meses com possibilidade de renovação; contratação PJ.ResumoAtuação na área de dados com foco em engenharia de dados e construção de soluções na nuvem.ResponsabilidadesObrigatório: Azure (ADF, Synapse, Data Lake, Databricks, SQL, Airflow, Kafka,...

  • 9676631 - engenheiro de dados sênior

    3 semanas atrás

    Brasil Quality Digital Tempo inteiro

    Nós somos a Quality Digital Saiba mais sobre a gente:Uma frase que nos define - Somos especialistas em soluções de TI e apaixonados por inovaçãoAo infinito e além - Somos #semfronteiras. Nosso time está espalhado pelo Brasil e pelo mundoNossa cultura - Mesmo distantes, estamos juntos Temos cerimônias para estarmos mais próximos, compartilhar...