Engenheiro(a) de Dados PL

Stefanini Manufacturing |Belo Horizonte
- MG | Híbrido

Descrição da vaga
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade. A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados. Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados. Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps. Responsabilidades e atribuições Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados. Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído. Desenvolver e manter workflows de dados utilizando Apache Airflow. Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável. Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse. Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade. Implementar mecanismos de tratamento, validação e qualidade de dados. Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas. Trabalhar com ambientes containerizados utilizando Docker. Versionar códigos, scripts, notebooks e configurações em repositórios Git. Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados. Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos. Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis. Apoiar análise técnica de requisitos e estimativas de esforço. Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas. Produzir documentação técnica das soluções implementadas. Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto. Requisitos e qualificações Python aplicado à engenharia de dados. SQL em nível intermediário ou avançado. Conceitos de Spark e PySpark. Conceitos de CI/CD. Modelagem de dados. APIs REST e integrações entre sistemas. Tratamento de arquivos CSV, JSON, Parquet e formatos similares. Noções de observabilidade, logs e monitoramento de pipelines. Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS. Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS. Requisitos desejáveis Serviços AWS aplicados a dados, como S3, Glue, Athena, Redshift e IAM. PostgreSQL, SQL Server ou bancos relacionais equivalentes. Integração com sistemas industriais, ERPs, MES, PIMS, LIMS ou sistemas legados. Conhecimentos de segurança e controle de acesso em plataformas de dados. Experiência com qualidade de dados e testes automatizados. Desconto em cursos, universidades e instituições de idiomas; LinkedIn Learning
- cursos online, gratuitos, atualizados e com certificado; Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas; Clube de vantagens e descontos nos melhores estabelecimentos; Convênio para Pet; e muito mais... Sobre a empresa A Stefanini Manufacturing é uma empresa nascida em Belo Horizonte, Minas Gerais e representa a indústria dentro do grupo Stefanini para todos os continentes. Ajudamos nossos clientes a fazer melhorias expressivas e duradouras em seu desempenho operacional, superar seus indicadores de performance e endereçar suas agendas ESG. São mais de 30 anos e mais de 3000 projetos entregues. Acreditamos no potencial disruptivo da tecnologia e, acima de tudo, no talento e criatividade de nosso time. Conheça nossa história Surpreenda-se É importante saber: para se candidatar, não importa sua idade, gênero, raça/etnia, deficiência, orientação sexual, origem, estética ou constituição familiar Entendemos que as diferenças tornam as pessoas únicas