Engenheiro(a) de Dados PL

Descrição Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade. A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados. Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados. Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps. Responsabilidades e atribuições
• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
• Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
• Desenvolver e manter workflows de dados utilizando Apache Airflow.
• Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
• Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
• Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
• Implementar mecanismos de tratamento, validação e qualidade de dados.
• Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
• Trabalhar com ambientes containerizados utilizando Docker.
• Versionar códigos, scripts, notebooks e configurações em repositórios Git.
• Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
• Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
• Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
• Apoiar análise técnica de requisitos e estimativas de esforço.
• Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
• Produzir documentação técnica das soluções implementadas.
• Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto. Requisitos e qualificações
• Python aplicado à engenharia de dados.
• SQL em nível intermediário ou avançado.
• Apache Airflow.
• Databricks.
• Conceitos de Spark e PySpark.
• Docker.
• Git.
• Conceitos de CI/CD.
• Azure DevOps.
• Modelagem de dados.
• ETL e ELT.
• APIs REST e integrações entre sistemas.
• Data Lake, Data Warehouse e Lakehouse.
• Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
• Noções de observabilidade, logs e monitoramento de pipelines.
• Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
• Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS. Benefícios ‍ Desconto em cursos, universidades e instituições de idiomas; LinkedIn Learning
- cursos online, gratuitos, atualizados e com certificado; Mentoring; Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas; Clube de vantagens e descontos nos melhores estabelecimentos; Clube de viagens; Convênio para Pet; e muito mais...