Engenheiro de dados

Vaga: Ingestão & Qualidade de Dados Modelo: Remoto/Híbrido (Temos a opção dos dois modelos, fica a preferência da pessoa) Sobre a Catalyst: A Catalyst foi criada para oferecer soluções de mídia mais seguras e transparentes no universo de App Growth com foco em resultados de negócio, e não apenas na execução de campanhas. Combinamos tecnologia e expertise técnica para gerar valor real. Trabalhamos com soluções de mídia que atendem aos nossos rigorosos padrões de qualidade. Além disso, desenvolvemos tecnologias proprietárias que nos permitem tomar decisões mais inteligentes e orientadas por dados — sempre com uma mentalidade voltada para o negócio. Nós operamos uma infraestrutura de dados robusta para ingestão, processamento e análise de dados de múltiplos parceiros, MMPs (mobile measurament platforms), canais de mídia e APIs. Trabalhamos com pipelines que envolvem Airflow, N8n, Cloud Run Functions e BigQuery — garantindo confiabilidade e qualidade dos dados para nossos produtos e clientes enterprise. ⸻ Responsabilidades da Vaga: A pessoa será responsável por cuidar diariamente da saúde dos pipelines de ingestão, garantindo que todos os dados das rotinas programadas cheguem completos, sem erros e no padrão esperado. Atividades diárias (core do trabalho): • Verificar todas as execuções do Airflow e do N8n (logs, failures, atrasos, retries). • Validar se todas as Cloud Run Functions (antigas Cloud Functions) foram disparadas corretamente. • Conferir se os dados ingeridos chegaram completos e corretos ao BigQuery (Raw/Bronze). • Reprocessar fluxos com erro (quando aplicável). • Documentar falhas recorrentes e propor correções estruturais. • Garantir a integridade e consistência dos dados ingeridos. • Realizar ajustes simples em scripts de ingestão (Python). • Subir correções leves em Cloud Run Functions (pequenas melhorias em códigos de chamadas de API, tratamento de erro, timeouts). ⸻ Tecnologias e Ferramentas (obrigatório ter experiência prática): • Python (requests, tratamento de dados, boas práticas de modularização, logging). • Google Cloud Platform: • Cloud Run Functions (antigas Cloud Functions)• BigQuery • Cloud Storage • IAM básico • Orquestração: • Airflow (XComs, DAGs, retries, troubleshooting de tarefas)• N8n (workflows, executions, error handling)• APIs REST: integração, paginação, autenticação, token refresh, rate limits. • Logs e observabilidade (Stackdriver / Cloud Logging). • Git básico. ⸻ Requisitos obrigatórios: • Forte experiência com pipelines de ingestão de dados. • Conhecimento real (não superficial) de Airflow OU N8n — idealmente ambos. • Experiência com funções serverless (Cloud Functions / Cloud Run). • Experiência com BigQuery (tabelas particionadas, schema, inspeção de dados). • Capacidade de fazer debugging rápido. • Compromisso com qualidade e confiabilidade de dados. ⸻ Desejável: • Experiência com pipelines de marketing, MMPs, APIs de mídia. • Experiência com monitoramento, alertas e boas práticas de confiabilidade. • Conhecimento de Data Lake / Data Warehouse. ⸻ Perfil buscado • Pessoa extremamente organizada, analítica, com alta atenção a detalhe. • Apto(a) a trabalhar de forma autônoma, responsável e pró-ativa. ⸻ Benefícios: Seguro Saúde Omint – Plano SC1 ou Plano C17 (ambos com coparticipação); Seguro Odontológico Omint; Ticket Refeição/Alimentação no valor de R$ 1.012,00/mês – sem desconto em folha; Seguro de Vida; Wellhub (conhecido Gympass); Convênio farmácia (Univers e Omint); Day Off de aniversário; Vale transporte (opcional – desconto de até 6% do salário, limitado ao valor de utilização); PPR; Auxílio creche para mães com filhos até 6 anos; Recesso de final de ano (sem desconto dos dias de férias anuais);