Engenheiro de Dados Azure Sênior

Papel na empresa: Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões. Responsabilidades: Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas. Construir pipelines de dados utilizando Azure Data Factory. Construir notebooks em Python e SQL utilizando Databricks. Construir Modern Data Warehouse com Synapse Analytics (Serverless & Dedicated). Desenvolver Data Governance utilizando Unity Catalog ou Purview. Trabalhar com ingestões de dados em Data Lakehouse. Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica. Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável. Usar junções de vários tipos, como junções internas, externas e naturais. Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão. Usar funções agregadas de vários tipos. Utilizar SQL com grandes conjuntos de dados. Utilizar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados. Utilizar SQL para resolver problemas complexos de dados. Utilizar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável. Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável. Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados. Definir e explicar conceitos de DevOps de maneira abrangente e crítica. Utilizar ferramentas de CI/CD para automação eficiente. Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps. Requisitos: Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador. Alto conhecimento em arquitetura de Big Data end-to-end. Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving). Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional. Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente. Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados. Documentar modelos de dados para facilitar a comunicação com outras partes interessadas. Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados. Projetar e implementar modelos de dados para dados em tempo real. Projetar e implementar modelos de dados para dados de várias fontes. Experiência em liderar engenheiros de dados Jr. e Pleno. Hard skills necessárias: Python, SQL, Azure (Data Factory, Data Lake, Synapse), Databricks, Spark SQL, PySpark. Nossos Incentivos: Auxílio médico; Wellhub; Auxílio terapia; Teleatendimento em Nutrição; Seguro de vida; Day off no dia do aniversário; Parceria com instituições de ensino com desconto em cursos (Anhanguera, FIAP e Instituto Infnet); Gameficação interna (troque ações por prêmios); English Club; Reembolso + Bônus por certificação. Atuação remota. Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes. #J-18808-Ljbffr