Data Engineer

Sobre a Posição:

Estamos em busca de Engenheiros(as) de Dados talentosos e experientes para integrar nosso time dinâmico e inovador. Nesta função, você será fundamental na construção e manutenção de nossa infraestrutura de dados, garantindo a qualidade, integridade e eficiência dos dados que impulsionam nossas decisões e produtos. Você terá a oportunidade de colaborar diretamente com arquitetos de dados, cientistas de dados e outras áreas de negócio, traduzindo necessidades em soluções de dados robustas e escaláveis.

Responsabilidades:

• Desenvolvimento e Arquitetura de Dados:
• Colaborar ativamente com o Arquiteto de Dados no projeto e construção de pipelines de dados eficientes e escaláveis.
• Implementar soluções de armazenamento de dados otimizadas para performance e custo-benefício.
• Integração de Dados:
• Desenvolver e implementar processos de integração de dados de diversas fontes, incluindo dados em tempo real e batch.
• Garantir a coleta abrangente e precisa de dados para atender às necessidades analíticas e operacionais.
• Qualidade e Governança de Dados:
• Implementar e monitorar processos de validação, limpeza e transformação de dados para garantir altos padrões de qualidade.
• Contribuir para a definição e aplicação de políticas de governança de dados.
• Gerenciamento e Otimização de Banco de Dados:
• Administrar e otimizar bancos de dados, assegurando a integridade, segurança e o desempenho ideal dos dados.
• Realizar tuning e troubleshooting de consultas e processos de banco de dados.
• Processos ETL/ELT:
• Desenvolver, manter e otimizar processos de ETL (Extrair, Transformar, Carregar) e/ou ELT para movimentação e transformação eficiente de dados.
• Segurança e Conformidade de Dados:
• Implementar e garantir o cumprimento de políticas de segurança de dados e regulamentações relevantes (e.g., LGPD, GDPR).
• Monitoramento e Otimização de Performance:
• Monitorar continuamente o desempenho dos pipelines e processos de dados, identificando e implementando otimizações para garantir a eficiência.
• Colaboração e Comunicação:
• Trabalhar em estreita colaboração com arquitetos de dados, cientistas de dados, analistas de negócio e outras partes interessadas para entender os requisitos de dados e propor soluções eficazes.
• Comunicar de forma clara e concisa conceitos técnicos para públicos diversos.
• Documentação:
• Criar e manter documentação técnica detalhada de processos de dados, infraestrutura, modelos de dados e fluxos de trabalho.
• Resolução de Problemas:
• Identificar, diagnosticar e resolver problemas relacionados a dados e pipelines de forma ágil e eficiente, garantindo a continuidade do fluxo de dados.
• Inovação e Melhoria Contínua:
• Manter-se atualizado sobre as últimas tecnologias, tendências e melhores práticas em engenharia de dados.
• Propor e implementar soluções inovadoras para otimizar a infraestrutura de dados e os processos existentes.

Qualificações:

• Formação:
• Bacharelado completo em Ciência da Computação, Sistemas de Informação, Engenharia da Computação ou áreas afins.
• Desejável pós-graduação ou especialização em áreas relacionadas a dados.
• Experiência:
• Experiência comprovada como Engenheiro(a) de Dados (nível intermediário: +3 anos; nível sênior: +5 anos).
• Sólida compreensão de arquitetura de dados, modelagem de dados e princípios de gerenciamento de dados.
• Habilidades Técnicas Essenciais:
• Proficiência avançada em SQL para manipulação e consulta de dados em diversos bancos de dados.
• Experiência prática com a plataforma de data warehouse Snowflake.
• Proficiência em Python e suas bibliotecas para processamento de dados (e.g., Pandas, NumPy).
• Experiência com frameworks de processamento de dados distribuídos como Apache Spark ou Hadoop.
• Habilidades Técnicas Desejáveis:
• Experiência com plataformas de nuvem (AWS, Azure, Google Cloud) e seus serviços de dados (e.g., S3, Azure Blob Storage, BigQuery).
• Conhecimento de ferramentas de orquestração de workflows (e.g., Airflow, Prefect).
• Experiência com bancos de dados NoSQL (e.g., MongoDB, Cassandra).
• Familiaridade com ferramentas de visualização de dados (e.g., Tableau, Power BI).
• Conhecimento de práticas de DevOps e CI/CD aplicadas a pipelines de dados.
• Habilidades Comportamentais:
• Fortes habilidades analíticas e de resolução de problemas, com capacidade de trabalhar com grandes e complexos conjuntos de dados.
• Excelentes habilidades de comunicação verbal e escrita, com capacidade de articular ideias técnicas de forma clara.
• Habilidade para trabalhar de forma colaborativa e eficaz em um ambiente de equipe multidisciplinar.
• Elevado nível de atenção aos detalhes e compromisso com a precisão e qualidade dos dados.
• Flexibilidade e adaptabilidade para lidar com mudanças nos requisitos do projeto e trabalhar em um ambiente dinâmico.
• Proatividade e autonomia na busca por soluções e melhorias.

Se você se identifica com este perfil e busca um ambiente desafiador e com oportunidades de crescimento, candidate-se