Engenheiro de Dados Sênior

Description

Coletamos, processamos e acionamos milhões de dados de lojas físicas, e-commerces, dados de navegação e fidelidade. Por meio da tecnologia, tornamos a comunicação de massa altamente personalizada e automatizada.

Responsibilities

Este profissional atuará em projetos com processos automatizados em que o foco é a entrega da informação relevante no momento certo, através de tecnologia para grandes volumes de dados de grandes clientes. Participará da definição de processos e sistemas, levantamento de requisitos atuando na análise e desenvolvimento de forma independente ou em conjunto com o time. Além disso, irá realizar implantação e manutenção de ETL, construindo entregáveis com foco no negócio/solução e com qualidade e alta performance técnica. Atuará com plataformas de marketing e Customer Data Platforms.

Prerequisites
Engenheiro de Dados Sênior (Foco em MLOps & Arquitetura)

Engenheiro de Dados Sênior com foco MLOps e Arquitetura (Customer Intelligence & Personalização).

Buscamos um Engenheiro de dados sênior com foco em MLOps e Arquitetura para garantir a fundação técnica para a escala de dados e IA. Você será responsável por arquitetar pipelines de dados resilientes em nuvem (AWS/GCP) e construir a esteira de automação (MLOps) que permite que os modelos de Machine Learning saiam do notebook do Cientista e entrem em produção com segurança. Somado a isso, esperamos que você possa construir a "ponte" entre o ambiente de experimentação dos cientistas de dados e a ativação em larga escala em nossos pontos de contato com o cliente. Você será o guardião da infraestrutura que permite que sistemas de recomendação rodem com baixa latência, alta disponibilidade e monitoramento contínuo, garantindo que a oferta certa chegue ao cliente certo no milissegundo exato.

Responsabilidades:

• Engenharia de Pipelines Modernos: Desenvolver fluxos de ETL/ELT utilizando Python e serviços gerenciados de nuvem. Orquestrar a ingestão de dados de múltiplas fontes para nosso Data Lake/Warehouse (BigQuery/S3).
• MLOps & Automação: Implementar pipelines de CI/CD para Machine Learning (CT - Continuous Training). Automatizar o retreino e deploy de modelos utilizando ferramentas nativas de nuvem (SageMaker/Vertex AI) ou frameworks open-source.
• Infraestrutura como Código (IaC): Provisionar e gerenciar recursos na AWS e GCP utilizando Terraform ou scripts de automação, garantindo ambientes reprodutíveis e seguros.
• Otimização e Custos (FinOps): Monitorar e otimizar o desempenho das queries e processamentos, garantindo eficiência de custo na nuvem (ex: uso correto de instâncias, particionamento de tabelas no BigQuery).
• Governança e Qualidade: Implementar verificações automáticas de qualidade de dados (Data Quality) e garantir a observabilidade dos pipelines (alertas de falha, latência).

Competências Técnicas (Hard Skills):

Como profissional Sênior, espera-se domínio profundo de arquitetura e automação:

Linguagem de Programação:

• Domínio avançado de Python (Obrigatório). Foco em escrita de código limpo, modular e testável.
• Experiência sólida com PySpark para processamento distribuído.

Ambiente Cloud (AWS & GCP):

• AWS: Conhecimento em serviços como S3, Lambda, Glue, EMR, Kinesis e SageMaker.
• GCP: Domínio de BigQuery (essencial), Cloud Functions, Dataflow e Vertex AI.

Stack de MLOps e Orquestração:

• Experiência com orquestradores de fluxo: Apache Airflow (ou Cloud Composer/MWAA).
• Ferramentas de ciclo de vida de ML: MLflow, DVC ou as suítes nativas (SageMaker Pipelines / Vertex Pipelines).
• Serviço de Modelos (Serving): Proficiência na implantação de modelos de recomendação em tempo real via APIs escaláveis (usando FastAPI, BentoML, Seldon Core ou TFServing).
• Monitoramento e Observabilidade: Configuração de alertas para Model Drift (desvio de performance) e Data Drift, garantindo que as recomendações não percam relevância ao longo do tempo.
• Arquitetura de Sistemas de Recomendação: Conhecimento em infraestrutura para modelos híbridos, incluindo Feature Stores (como Feast ou Hopsworks) para servir vetores de usuários e itens com baixa latência.

Banco de Dados e SQL:

• SQL Avançado para Data Warehousing (foco em performance analítica).

Infraestrutura e Deploy:

• Docker (containerização de scripts e modelos).
• Terraform (IaC).
• Conhecimentos de CI/CD (GitHub Actions, GitLab CI ou CodePipeline).

Competências Comportamentais (Soft Skills):

Como profissional Sênior, espera-se domínio profundo em: visão de negócio, pensamento crítico e adaptabilidade.

• Agnóstico e Flexível: Consegue transitar entre AWS e GCP escolhendo a melhor ferramenta para o problema, sem "bairrismo" tecnológico.
• Visão de Produto de Dados: Entende que o pipeline não é o fim, mas o meio para entregar valor ao negócio. Preocupa-se se o dado chegou no horário certo para o Marketing usar.
• Colaboração Ativa: Atua como o "melhor amigo" do Cientista de Dados, ajudando a otimizar códigos ineficientes sem criar atrito.
• Mentoria e Liderança Técnica: Capacidade de orientar cientistas de dados sobre melhores práticas de escrita de código produtivo e escalabilidade.
• Pensamento Sistêmico: Habilidade para enxergar o fluxo do dado desde a origem (log de navegação) até o impacto final no cliente, antecipando gargalos de infraestrutura.
• Comunicação entre Áreas: Atuar como tradutor entre os requisitos de infraestrutura (TI), as necessidades de modelagem (Data Science) e os objetivos de negócio (Marketing/CRM).
• Resolução de Problemas Complexos: Calma e precisão para atuar em incidentes em produção que afetem a experiência do usuário em tempo real.
• Advogado da Qualidade: Rigor com a governança de dados, segurança e conformidade (LGPD), garantindo que a automação não comprometa a privacidade do cliente.

Experiences

- Experiência com sistemas de recomendações são indispensáveis para este desafio.

- Inglês e/ou espanhol.

---