Engenheiro de Dados Sênior

Atribuições Principais

Construção e implementações de arquiteturas com Data Warehouse e Datalake;

O que procuramos?

Atribuições Principais

• Construção e implementações de arquiteturas com Data Warehouse e Datalake;
• Liderar como referência soluções técnicas de Data Analytics;
• Criar e definir modelos de repositórios de dados;
• Desenvolver estratégias de aquisição de dados, recuperação de informação, implementação de dutos de processamento e armazenamento;
• Apoiar nas definições técnicas do ecossistema de Big Data;
• Desenvolver e manter processos de consumo, tratamento, controle/segurança e disponibilização de dados para diferentes consumidores;
• Levantando possíveis riscos de acordo com o parecer técnico pelas áreas de apoio emitidas;
• Apoiar/viabilizar testes de desempenho (desempenho);
• Apoiar a migração de dados de sistemas legados para novas soluções.

Requisitos

Sobre a oportunidade

Estamos em busca de uma pessoa Data Engineer para atuar na construção e evolução de uma plataforma de dados de missão crítica, responsável por processar grandes volumes de dados em tempo real, garantindo alta disponibilidade, escalabilidade e qualidade.

Você fará parte de um time de engenharia responsável pelo desenvolvimento de pipelines críticos para o negócio, utilizando tecnologias modernas do ecossistema Apache Spark e Databricks, sempre com foco em confiabilidade operacional, observabilidade e excelência técnica.

Responsabilidades

• Desenvolver e manter pipelines de dados batch e streaming de alta disponibilidade.
• Projetar soluções escaláveis utilizando Spark, Scala e PySpark.
• Desenvolver aplicações distribuídas no Databricks.
• Implementar pipelines de ingestão, transformação e disponibilização de dados em tempo real.
• Trabalhar com arquitetura Lakehouse utilizando Unity Catalog para governança de dados.
• Integrar diferentes fontes de dados, incluindo MongoDB e demais sistemas transacionais.
• Atuar em ambientes cloud, com foco em serviços da Microsoft Azure.
• Garantir alta performance, resiliência e escalabilidade das soluções de engenharia de dados.
• Implementar mecanismos de monitoramento, observabilidade e alertas para pipelines críticos.
• Definir e evoluir controles de qualidade dos dados (Data Quality), assegurando consistência, completude, integridade e confiabilidade das informações.
• Atuar na identificação e resolução de incidentes em ambientes críticos.
• Colaborar com arquitetos, cientistas de dados, analistas e demais equipes de tecnologia na construção de soluções orientadas a dados.
• Promover boas práticas de desenvolvimento, testes, versionamento e CI/CD.

Requisitos Obrigatórios

• Experiência sólida em Engenharia de Dados.
• Domínio de Apache Spark.
• Experiência com Scala.
• Experiência com PySpark.
• Experiência prática com Databricks.
• Conhecimento em Unity Catalog.
• Experiência com MongoDB.
• Desenvolvimento de pipelines de dados em tempo real (Streaming).
• Experiência com processamento distribuído de grandes volumes de dados.
• Vivência em ambientes de alta disponibilidade e sistemas críticos.
• Experiência com Microsoft Azure, incluindo serviços voltados para dados e analytics.
• Conhecimento em arquitetura Lakehouse.
• Experiência com Git e práticas de versionamento.

Diferenciais

• Experiência com AWS.
• Conhecimento em Delta Lake.
• Experiência com Apache Kafka ou outras plataformas de streaming.
• Conhecimento em arquiteturas orientadas a eventos.
• Experiência com DataOps.
• Conhecimento em Data Observability.
• Certificações Microsoft Azure.
• Vivência em ambientes financeiros ou de missão crítica.

O que esperamos

• Qualidade dos dados como prioridade.
• Monitoramento contínuo e observabilidade dos pipelines.
• Alta disponibilidade e resiliência das soluções.
• Performance e escalabilidade.
• Automação e melhoria contínua.
• Boas práticas de engenharia de software e dados.
• Colaboração, protagonismo e compartilhamento de conhecimento.

Stack TecnológicaObrigatória

• Microsoft Azure
• Databricks
• Apache Spark
• Scala
• PySpark
• Unity Catalog
• MongoDB
• Delta Lake
• Git
• Streaming (Real Time)
• Lakehouse Architecture
• Data Quality
• Data Observability
• CI/CD
• Apache Kafka
• Arquiteturas orientadas a eventos

Desejável

• AWS
• DataOps

Localidade Da Posição

Quem é a Insi?

Som