Engenheiro de dados

Sobre a empresa:

Operadora do mercado brasileiro de energia elétrica, voltada à viabilização de um ambiente de negociação competitivo, sustentável e seguro. Promove discussões e propõe soluções para o desenvolvimento do setor elétrico nacional, fazendo a interlocução entre os agentes e as instâncias de formulação de políticas e regulação. O foco de atuação da instituição é a evolução do segmento de comercialização, pautado pela neutralidade, liquidez e simetria de informações.

Experiência Profissional:

Atuar na equipe como Engenheiro de Dados, ou seja, responsável pela criação do pipeline que transforma os dados brutos que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita ao Cientista de Dados começar seu trabalho. O engenheiro de dados deve manter este pipeline em execução para que os dados possam ser coletados no momento certo, com o nível de segurança exigido pela empresa. Ter um histórico sólido como engenheiro de dados, mínimo de 4 anos na função.

O que esperamos?

Como engenheiro de dados, criar e gerenciar a infraestrutura necessária para coletar, armazenar, organizar e disponibilizar grandes volumes de dados. O profissional é responsável por projetar e gerenciar os sistemas de coleta de dados garantindo a integração e acessibilidade das informações, otimizando fluxos de análise, tomada de decisão e desenvolvimento. Além de estruturar a infraestrutura de dados, o profissional integra informações otimizando o acesso e a utilização dos conjuntos. O processo envolve a aplicação de processos relacionais e não relacionais, linguagens de programação (como Python, SQL, etc) e ferramentas de big data.

Profissional com disponibilidade para deslocamentos, a fim de participar de encontros presenciais pontuais do projeto.

Requisitos Necessários:

-Cursos técnicos nas tecnologias ou plataformas; ou Ciência de Computação, Engenharia da Computação, Engenharia de Dados e áreas relacionadas.

• Mapear interagindo com Keys user e outros analistas da organização;

-Identificar e registrar em ferramenta específica os metadados para governança de dados;

• Desenvolver e manter pipelines de dados eficientes, criar fluxos de dados que coletam, transformam e carregam dados de diversas fontes;

• Garantir a segurança e integridade dos dados, implementar medidas de segurança para proteger dados sensíveis e garantir a conformidade com regulamentações como a LGPD;

• Identificar tendências e padrões em conjuntos de dados;

• Identificar novas oportunidades para melhoria de processos;

• Colaborar com equipes de análise e ciência de dados, trabalhar em conjunto com analistas e cientistas de dados para entender as necessidades de dados e implementar soluções eficazes. Criar ferramentas para facilitar a manipulação e análise de dados;

• Otimizar consultas e desempenho de banco de dados, melhorar a eficiência das consultas e garantir que os sistemas de dados funcionem de maneira otimizada. Garantir a eficiência e a escalabilidade dos sistemas de dados;

• Monitorar e solucionar problemas de infraestrutura de dados, garantir que os sistemas de dados estejam sempre disponíveis e funcionando corretamente. Manter e monitorar pipelines de dados para garantir sua confiabilidade. Identificar e corrigir falhas e gargalos nos sistemas de dados;

• Proficiência em Python para scripts, ETL, integração de dados. SQL essencial para manipulação e consulta de dados.

• Conhecimento em tecnologias de NiFi, Airflow, familiaridade com Data Lake.

• Experiência com sistemas de gerenciamento de banco de dados, saber como projetar e manter bancos de dados eficientes. Organização para gerenciar grandes volumes de dados e processos críticos.

• Conhecimento de práticas de segurança de dados, entender como proteger dados contra acessos não autorizados e garantir a conformidade com regulamentações.

• Capacidade de trabalhar em equipe. ser capaz de colaborar com outros profissionais e comunicar ideias de forma clara. Pensamento crítico e curiosidade para explorar dados. Organização e gestão de tempo;