Engenheiro de Dados Azure Sênior

3 semanas atrás

Curitiba, Paraná, Brasil Dataside Tempo inteiro

Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.

Responsabilidades:

  1. Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
  2. Construir pipelines de dados utilizando Azure Data Factory.
  3. Construir notebooks em Python e SQL utilizando Databricks.
  4. Construir Modern Data Warehouse com Synapse Analytics (Serverless & Dedicated).
  5. Desenvolver Data Governance utilizando Unity Catalog ou Purview.
  6. Trabalhar com ingestões de dados em Data Lakehouse.
  7. Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
  8. Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
  9. Usar junções de vários tipos, como junções internas, externas e naturais.
  10. Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.
  11. Usar funções agregadas de vários tipos.
  12. Utilizar SQL com grandes conjuntos de dados.
  13. Utilizar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
  14. Utilizar SQL para resolver problemas complexos de dados.
  15. Utilizar PySpark para análise exploratória de dados (EDA) de forma eficiente e escalável.
  16. Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
  17. Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.
  18. Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
  19. Utilizar ferramentas de CI/CD para automação eficiente.
  20. Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.

Requisitos:

  • Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
  • Alto conhecimento em arquitetura de Big Data end-to-end.
  • Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
  • Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
  • Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
  • Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
  • Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
  • Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
  • Projetar e implementar modelos de dados para dados em tempo real.
  • Projetar e implementar modelos de dados para dados de múltiplas fontes.
  • Experiência em liderar engenheiros de dados Jr. e Pleno.

Hard skills necessárias:

  • Inglês fluente.
  • Python, SQL.
  • Azure (Data Factory, Data Lake, Synapse).
  • Databricks, Spark SQL, PySpark.
  • Machine Learning / IA.
  • Metodologias Ágeis, CI/CD (Azure DevOps, GitHub).
  • Infraestrutura como código (Terraform desejável).
  • Data Governance, MLOps.
  • Power BI (desejável).

Nossos Incentivos:

  • Auxílio médico;
  • Wellhub;
  • Auxílio terapia;
  • Teleatendimento em Nutrição;
  • Seguro de vida;
  • Day off no dia do aniversário;
  • Parceria com instituições de ensino com desconto em cursos (Anhanguera, FIAP e Instituto Infnet);
  • Gameficação interna (troque ações por prêmios);
  • English Club;
  • Reembolso + Bônus por certificação.

Atuação remota.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

#J-18808-Ljbffr

  • Engenheiro de dados azure sênior

    4 semanas atrás

    Curitiba, Paraná, Brasil DATASIDE SOLUCOES EM DADOS LTDA Tempo inteiro

    Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.Responsabilidades:Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.Construir pipelines de dados...

  • Engenheiro de dados azure sênior

    4 semanas atrás

    Curitiba, Paraná, Brasil Netvagas Tempo inteiro

    Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.Responsabilidades:Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.Construir pipelines de dados...

  • Engenheiro de Dados Azure Sênior

    Há 4 dias

    Curitiba, Paraná, Brasil Dataside Tempo inteiro

    Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões. Responsabilidades: Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas. Construir pipelines de...

  • Engenheiro de Dados

    4 semanas atrás

    Curitiba, Paraná, Brasil Blend IT Consulting Tempo inteiro

    Postado em 07/08/2025Informações da vagaExperiência profissional SêniorDuração 07 Meses - Podendo ProrrogarNão paga despesasCidade CuritibaEstado/Província ParanaDescrição da vagaComo Engenheiro de Dados Sênior, você fará parte da equipe de Manufacturing Data Hub, uma equipe ágil e global que fornece uma plataforma de dados para atender a...

  • Engenheiro de Dados

    Há 4 dias

    Curitiba, Paraná, Brasil Blend IT Consulting Tempo inteiro

    Postado em 07/08/2025 Informações da vaga Experiência profissional Sênior Duração 07 Meses - Podendo Prorrogar Não paga despesas Cidade Curitiba Estado/Província Parana Descrição da vaga Como Engenheiro de Dados Sênior, você fará parte da equipe de Manufacturing Data Hub, uma equipe ágil e global que fornece uma plataforma de dados para atender...

  • Engenheiro de Dados

    2 semanas atrás

    Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiro

    RequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....

  • Engenheiro de Dados

    3 semanas atrás

    Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiro

    RequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....

  • Engenheiro de Dados

    2 semanas atrás

    Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiro

    RequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....

  • Engenheiro de Dados

    3 semanas atrás

    Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiro

    RequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....

  • Engenheiro de Dados

    3 semanas atrás

    Curitiba, Paraná, Brasil Blend It Consultoria Tempo inteiro

    RequisitosPelo menos 5 anos de experiência como engenheiro de dadosExperiência com DatabricksExperiência na implementação da arquitetura de dados Medallion. Conhecimento profundo de stacks de engenharia de dados do Azure, Data Factory, Data Lake Storage e Synapse. Sólida experiência com Databricks e linguagens de script como Spark SQL e PySpark....