Engenheiro de dados azure sênior

2 semanas atrás

SAO JOSE DOS CAMPOS, Brasil DATASIDE SOLUCOES EM DADOS LTDA Tempo inteiro

Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.
Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipelines de dados utilizando Azure Data Factory.
Construir notebooks em Python e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synapse Analytics (Serverless Dedicated).
Desenvolver Data Governance utilizando Unity Catalog ou Purview.
Trabalhar com ingestões de dados em Data Lakehouse.
Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, externas e naturais.
Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.
Usar funções agregadas de vários tipos.
Utilizar SQL com grandes conjuntos de dados.
Utilizar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
Utilizar SQL para resolver problemas complexos de dados.
Utilizar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável.
Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.
Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
Utilizar ferramentas de CI/CD para automação eficiente.
Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.
Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
Alto conhecimento em arquitetura de Big Data end-to-end.
Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
Projetar e implementar modelos de dados para lidar com dados em tempo real.
Projetar e implementar modelos de dados para lidar com dados de várias fontes.
Experiência em liderar engenheiros de dados Jr. e Pleno.
Hard skills necessárias:
Python, SQL.
Azure (Data Factory, Data Lake, Synapse).
Databricks, Spark SQL, PySpark.
Nossos Incentivos:
1. Auxílio médico;
2. Wellhub;
3. Auxílio terapia;
4. Teleatendimento em Nutrição;
5. Seguro de vida;
6. Day off no dia do aniversário;
7. Parceria com instituições de ensino com desconto em cursos (Anhanguera e FIAP);
8. Gameficação interna (troque ações por prêmios);
9. English Club;
10. Reembolso + Bônus por certificação.
Entre outros
Atuação remota. 
Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes. 

  • Engenheiro de dados azure

    Há 9 horas

    SAO PAULO, Brasil AM53 Tempo inteiro

    Engenheiro de Dados Azure Requisitos:Experiência com Python, Pyspark, Databricks, banco de dados SQL e NoSQL e Cloud Azure. Diferencial: experiência em IA Generativa.

  • Engenheiro de dados sênior

    2 semanas atrás

    SAO PAULO, Brasil GRUPO CRIATTO Tempo inteiro

    Estamos em busca de um Engenheiro de Dados Sênior para integrar nosso time e contribuir diretamente em projetos de grande porte e complexidade, com foco em ambientes de nuvem Microsoft Azure. Requisitos:Experiência sólida como engenheiro de dados em projetos de grande porte; Expertise comprovada em grandes clouds (Azure, AWS ou GCP), com forte...

  • Engenheiro de machine learning sênior

    2 semanas atrás

    SAO JOSE DOS CAMPOS, Brasil DATASIDE SOLUCOES EM DADOS LTDA Tempo inteiro

    Papel na empresa: O Engenheiro de Machine Learning Sênior na Dataside atua como liderança técnica na concepção, desenvolvimento e operacionalização de soluções de ML e IA em ambientes de nuvem, sendo responsável por arquitetar sistemas robustos, definir padrões e implementar processos eficientes de ML/AI/LLM Ops. Mais do que entregar soluções...

  • Engenheiro de dados aws sênior

    Há 6 dias

    SAO JOSE DOS CAMPOS, Brasil DATASIDE SOLUCOES EM DADOS LTDA Tempo inteiro

    Papel na empresa: O Engenheiro de Dados Sênior na Dataside atua como liderança técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Tem autonomia para decisões técnicas de ponta a ponta, garantindo entregas alinhadas às necessidades do cliente. Além disso, realiza mentorias,...

  • Engenheiro(a) de Dados

    Há 6 dias

    São José dos Campos, Brasil Objective Tempo inteiro

    Somos ávidos por tecnologia, criatividade e desafios. Se você gosta de desafios, aprendizado constante e valoriza as conexões pessoais, junte-se a nós! # Valorizamos a diversidade e acreditamos que ela é fundamental para a inovação e entregas de valor aos nossos clientes. Todas as nossas vagas são destinadas a todas as pessoas, com ou sem...

  • Engenheiro De Mlops Sênior

    Há 5 dias

    São José dos Campos, Brasil Dataside Solucoes Em Dados Ltda Tempo inteiro

    Papel na empresa:O Engenheiro de MLOps Sênior na Dataside atua como referência técnica na concepção, desenvolvimento e operacionalização de pipelines e soluções de Machine Learning em ambientes de nuvem.Esse profissional é responsável por garantir que modelos de ML e IA sejam desenvolvidos, versionados, monitorados e escalados de forma eficiente,...

  • Engenheiro de Dados

    Há 2 dias

    SAO PAULO, Brasil LIFETIME - AGENTES AUTONOMOS DE INVESTIMENTOS LTDA. Tempo inteiro

    Estamos contratando um Engenheiro de Dados Sênior.A Lifetime atua no mercado financeiro desde 2011. Hoje, somos a melhor assessoria credenciada ao BTG Pactual, o maior banco de investimentos da América Latina. Como Multi Family Office, oferecemos as mais completas soluções financeiras do mercado com atendimento personalizado e infraestrutura...

  • Engenheiro de Dados Sênior

    3 semanas atrás

    São José dos Campos, São Paulo, Brasil Genesis Data Culture Tempo inteiro

    Engenheiro de Dados Sênior (Líder Técnico)Join to apply for the Engenheiro de Dados Sênior (Líder Técnico) role at Genesis Data Culture.A Genesis surgiu com o intuito de democratizar projetos de ciência de dados e a cultura de dados, promovendo a utilização sustentável dos projetos através de uma cultura de dados forte.Principais...

  • Engenheiro de dados snowflake

    3 semanas atrás

    São José dos Campos, São Paulo, Brasil DATASIDE SOLUCOES EM DADOS LTDA Tempo inteiro

    Papel na empresa: O Engenheiro de Dados Snowflake atuará em projetos estratégicos, sendo referência técnica nas decisões de arquitetura e desenvolvimento em Snowflake. Com forte atuação consultiva, contribuirá com revisões e entregas técnicas de alto impacto, sempre alinhadas aos objetivos de negócio do cliente.Responsabilidades: Liderar...

  • Engenheiro(a) de dados pleno/sênior

    3 semanas atrás

    São José dos Pinhais, Paraná, Brasil Solo Network Brasil S.A. Tempo inteiro

    Vaga: Engenheiro(a) de Dados Pleno/SêniorLocal: Remoto ou Híbrido (escritórios da Solo Network) Modelo de contratação: CooperadoÁrea: Dados, IA e Modernização Sobre a Solo Network A Solo é uma das principais integradoras Microsoft da América Latina. Estamos acelerando a expansão da nossa prática de Dados e IA e buscamos talentos técnicos que...