Senior data engineer

Sua missão será liderar a construção da espinha dorsal de dados da nossa empresa. Você
será a força motriz por trás da criação de uma infraestrutura de dados escalável e de alta
performance, capacitando nossas equipes de análise, ciência de dados e produto a
transformar dados brutos em inteligência de negócio e decisões estratégicas. Esperamos
que você não apenas construa pipelines, mas que estabeleça novos padrões de excelência
técnica, mentore outros engenheiros e garanta que nossos ativos de dados sejam a base
para o crescimento e a inovação da companhia.

Principais atividades:

• Liderança em Arquitetura: Liderar o design e a implementação da nossa arquitetura de dados em ambientes de nuvem (AWS, GCP ou Azure), tomando decisões técnicas que garantirão a escalabilidade e a eficiência futuras.
• Construção de Pipelines Críticos: Desenvolver, otimizar e ser o guardião de pipelines de dados (ETL/ELT) robustos que processam grandes volumes de dados de múltiplas fontes, tanto em batch quanto em tempo real (streaming).
• Modelagem de Dados Estratégica: Definir e implementar modelos de dados que sirvam como a única fonte da verdade , suportando diretamente as necessidades críticas de análise, business intelligence e machine learning.
• Garantia de Qualidade e Governança: Estabelecer e impor processos rigorosos e automações para garantir a máxima qualidade, integridade, segurança e governança dos dados da empresa.
• Otimização de Performance: Diagnosticar e eliminar proativamente gargalos de performance em todo o nosso ecossistema de dados, garantindo a entrega de informações com baixa latência.
• Inovação Tecnológica: Comandar a avaliação e a adoção de novas tecnologias, desafiando o status quo para manter nossa stack de dados moderna e competitiva.
• Mentoria e Referência Técnica: Ser a referência técnica do time, definindo as melhores práticas de engenharia de software (testes, CI/CD, IaC), realizando code reviews criteriosos e acelerando o desenvolvimento técnico de outros engenheiros.
•  Parceria de Negócio: Atuar como um parceiro estratégico para as áreas de negócio e outras equipes de tecnologia, traduzindo desafios complexos em soluções de dados funcionais e de alto impacto.

Pré-requisitos:

• Experiência Comprovada: De experiência prática e relevante em engenharia de dados, com um portfólio de projetos de alta complexidade entregues com sucesso.
• Domínio de Programação: Proficiência absoluta em Python e/ou Scala, aplicando princípios de código limpo e eficiente.
• SQL de Alta Performance: Maestria em SQL e na otimização de consultas complexas em data warehouses e bancos de dados distribuídos.
•  Vivência em Big Data: Experiência profunda com o ecossistema de Big Data, especialmente com Spark e outras tecnologias como Flink ou Hadoop.
• Especialista em Cloud: Expertise demonstrada em uma das principais plataformas de nuvem: AWS (S3, Glue, Redshift, EMR, Kinesis), Google Cloud Platform
  (BigQuery, Dataflow, Dataproc, Pub/Sub) ou Microsoft Azure (Data Factory, Synapse Analytics, Databricks).
• Orquestração de Workflows: Domínio de ferramentas de orquestração como Airflow, Dagster ou Prefect para gerenciar pipelines complexos.
• Princípios de Engenharia: Mentalidade sólida de engenharia de software, aplicando controle de versão (Git), CI/CD e testes automatizados como parte natural do seu fluxo de trabalho.
• Comunicação de Impacto: Habilidade de comunicar ideias técnicas complexas de forma clara e assertiva para audiências diversas, influenciando decisões.

Diferenciais:

•  Experiência com a implementação de arquiteturas Data Lakehouse (Delta Lake, Iceberg, Hudi).
• Conhecimento prático de infraestrutura como código (Terraform, CloudFormation).
• Vivência com containers e orquestração (Docker, Kubernetes).
• Experiência na construção de soluções de streaming com Kafka ou Pulsar.
• Familiaridade com a modelagem de dados para ferramentas de BI (Tableau, Power BI, Looker).
• Exposição a projetos de Machine Learning e conceitos de MLOps.

Local de trabalho:

Remoto