Pessoa Engenheira de Dados

Nesta oportunidade de Engenheiro(a) de Dados, você será responsável por construir e otimizar nossa infraestrutura de dados, também atuará como uma referência técnica e mentor(a), capacitando nossas equipes de Analistas, Especialistas e Cientistas de Dados a extraindo o máximo valor dos nossos ativos de dados, assumindo a propriedade de domínios de dados e garantindo que nossas soluções sejam escaláveis, seguras e governadas.

Aqui na Pulse temos compromissos com a equidade de oportunidades para todas as pessoas. Valorizamos as diferenças e temos um ambiente onde todos e todas são mais que bem-vindos, por isso buscamos diversidade em identidade de gênero, idade, cor e etnia, orientação afetivo-sexual, origem, pessoas com deficiência e entre outras diversidades, pois entendemos que todas as pessoas devem sonhar, crescer e realizar.

Para te ajudar a entender este desafio, aqui estão algumas responsabilidades:

• Construção de Pipelines de Dados: Desenvolver, otimizar e manter pipelines de dados (ETL/ELT) robustos, eficientes e escaláveis, utilizando o ecossistema Azure Databricks, incluindo Databricks Jobs e Delta Live Tables (Pipelines);
• Otimização e Performance: Otimizar a performance de queries complexas e processos de ingestão e transformação, garantindo o processamento eficiente de grandes volumes de dados;
• Liderança Técnica e Mentoria: Atuar como referência técnica para o time de dados, promovendo as melhores práticas de engenharia, governança e qualidade de dados, mentorando o time de Dados;
• Monitoramento e Qualidade: Implementar e manter rotinas de monitoramento que garantam a saúde, a consistência e a qualidade dos nossos pipelines e bases de dados;
• Arquitetura e Desenvolvimento em Data Mesh: Liderar a concepção e ser o guardião técnico de domínios de dados específicos, garantindo a qualidade, disponibilidade, segurança e documentação dos "produtos de dados";
• Governança de Dados: Implementar e disseminar estratégias de governança de dados dentro do time, incluindo conhecimento de todos os domínios de dados, garantindo a conformidade e a segurança das informações acessadas;
• Suporte Estratégico: Colaborar ativamente com stakeholders, Analistas e Cientistas de Dados para entender os requisitos de negócio e traduzi-los em soluções de dados eficazes e estratégicas, disponibilizando datasets prontos para consumo;
• Disseminação da Cultura Data-Driven: Agir como um evangelista de dados, auxiliando as áreas de negócio a compreender e utilizar os dados disponíveis para tomar decisões mais inteligentes.

Para esta oportunidade, é necessário que você:

• Superior Completo em Engenharia da Computação, Ciência da Computação, Sistemas de Informação ou áreas correlatas;
• Experiência sólida e comprovada como Engenheiro de Dados, atuando em ambientes de Big Data;
• Profundo conhecimento e experiência prática com a plataforma Databricks no ambiente Azure (ADB), dominando seu principais componentes como Databricks JOBs, Delta Live Tables, e integração com Azure Data Lake Stirage (ADLS);
• Domínio avançado de Python e SQL para manipulação e processamento de dados em larga escala;
• Experiência avançada com Apache Spark / PySpark, incluindo otimização de jobs e performance;
• Sólidos conhecimentos em modelagem de dados (Dimensional, Data Vault) e arquitetura de dados;
• Compreensão profunda e vivência prática com os conceitos e a implementação de arquiteturas Data Mesh;
• Experiência com práticas e ferramentas de governança de dados (Data Governance), qualidade de dados (Data Quality) e segurança;
• Conhecimento em ferramentas de versionamento de código, como Git;
• Excelentes habilidades de comunicação, colaboração e mentoria.

É um diferencial se você possuir:

• Conhecimento em bancos de dados NoSQL, especialmente MongoDB;
• Familiaridade com metodologias ágeis (Scrum, Kanban).