Engenheiro de Dados

Há 9 horas

Fortaleza, State of Ceará, Brasil Netvagas Tempo integral
Ensino superior completo em Ciência da Computação; Engenharia de Software; Sistemas de Informação; Engenharia da Computação; Ciência de Dados; Tecnologia da Informação;

Conhecimento em Banco de Dados;

Power BI;

SQL;

Python;

Bancos de dados;

ETL/ELT;

APIs;

Git;

Conceitos de modelagem.

Desejável: Pipelines + modelagem avançada + integrações + performance + qualidade + orquestração + CI/CD + observabilidade.


• Desenvolver e manter pipelines de dados;

• Desenvolver processos de ETL/ELT;

• Realizar ingestão de dados de diferentes fontes;

• Estruturar integrações de dados provenientes de Protheus, RM, Fluig, PEGASUS, telemetria e demais sistemas corporativos;

• Desenvolver processos de carga incremental;

• Trabalhar com APIs, bancos de dados e demais fontes de integração;

• Desenvolver consultas SQL de maior complexidade;

• Apoiar a modelagem e evolução do Banco Makro;

• Criar estruturas de dados adequadas para consumo pelas APIs e aplicações;

• Implementar transformação, limpeza e padronização dos dados;

• Criar mecanismos de validação e qualidade;

• Identificar duplicidades, inconsistências e falhas de integração;

• Implementar rastreabilidade das cargas;

• Criar logs e monitoramento dos pipelines;

• Apoiar definição e manutenção do histórico dos dados;

• Documentar origem, transformação e destino das informações;

• Construir e manter o dicionário de dados;

• Trabalhar com os POs para validação das regras e significado das informações;

• Disponibilizar dados para o App Makro;

• Disponibilizar dados para indicadores e dashboards;

• Apoiar criação de datasets para Power BI;

• Apoiar iniciativas de Analytics;

• Preparar e estruturar dados para utilização em soluções de IA;

• Trabalhar em conjunto com o Back-end nas integrações;

• Implementar testes de qualidade dos dados e dos pipelines;

• Utilizar Git para versionamento;

• Apoiar automação e publicação dos processos de dados;

• Participar das decisões relacionadas à arquitetura de dados;

• Apoiar governança, segurança e controle de acesso aos dados;

• Monitorar e realizar sustentação dos pipelines e processos implantados;

• Compartilhar com a equipe a responsabilidade pela qualidade e estabilidade das entregas.