Data Engineer

Há 2 dias

São Paulo, Brasil Randstad - Matriz Tempo integral R$ 120.000 - R$ 260.000 Contrato

Responsabilidades

Como Engenheiro(a) de Dados, você será responsável por projetar, desenvolver e sustentar soluções de dados que suportem os processos de geração, coleta, tratamento e disponibilização de informações para o negócio.

  • Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
  • Garantir a qualidade, integridade e confiabilidade dos dados ao longo de todo o ciclo de processamento.
  • Implementar processos de Extração, Transformação e Carga (ETL/ELT) para movimentação e disponibilização de dados entre diferentes sistemas.
  • Atuar como referência técnica (Subject Matter Expert) em Engenharia de Dados.
  • Colaborar com equipes multidisciplinares, promovendo alinhamento técnico e compartilhamento de conhecimento.
  • Apoiar a tomada de decisões técnicas e contribuir para a resolução de problemas complexos que impactem diferentes equipes.
  • Desenvolver e otimizar arquiteturas de dados escaláveis para atender às demandas atuais e futuras do negócio.
  • Trabalhar em parceria com cientistas de dados, analistas e demais stakeholders para garantir integração e acessibilidade aos dados.
  • Liderar iniciativas voltadas ao monitoramento, desempenho e confiabilidade dos pipelines de dados.
  • Documentar processos, padrões e boas práticas, fomentando a evolução contínua da equipe.
  • Contribuir na avaliação e adoção de novas tecnologias, ferramentas e frameworks que agreguem valor ao projeto.

Conhecimentos obrigatórios

  • Python
  • SQL
  • Apache Airflow (Google Composer)
  • Desenvolvimento de pipelines de dados:
    • Streaming
    • Batch Processing
    • CDC (Change Data Capture)
  • Google BigQuery
  • Google Cloud Platform (GCP)
  • Arquitetura Medallion (Bronze, Silver e Gold)

Conhecimentos desejáveis

  • GitLab CI/CD
  • Experiência em ambientes de dados em nuvem
  • Vivência em projetos do setor de Utilities (Energia)

Qualificações Técnicas

  • Proficiência avançada em Engenharia de Dados.
  • Proficiência avançada em Python.
  • Conhecimentos básicos em:
    • Google BigQuery
    • Apache Airflow
    • GitLab CI/CD

Diferenciais

  • Experiência prévia no setor de Energia e Utilities.
  • Conhecimento em arquiteturas modernas de dados e plataformas cloud.
  • Capacidade de atuar em ambientes colaborativos e multidisciplinares.
  • Perfil analítico, proativo e orientado à solução de problemas.