Data Engineer

A Avra é uma plataforma de inteligência de dados deep tech, que traduz a complexidade das pequenas e médias empresas em decisões estratégicas para grandes corporações. Desenvolvemos nossos próprios modelos fundamentais do zero — sem depender de soluções de terceiros — para entregar insights inovadores que impulsionam grandes bancos e fintechs em toda a América Latina. Fundada em 2024 por Bruno Alano (ex-OpenAI) e Viviane Meister , a Avra reúne talentos, com o propósito de fazer IA de verdade e gerar impacto real. Sobre a Vaga Na Avra, estamos construindo nossa plataforma de dados do zero — uma base confiável e escalável que sustenta nossos produtos e os modelos de IA que desenvolvemos. Como Engenheiro(a) de Dados Sênior , você será peça-chave na concepção, evolução e governança dessa infraestrutura, garantindo que os dados fluam de forma segura, rastreável e de alta qualidade entre sistemas e times. Nosso desafio vai muito além de ingestão e transformação: estamos criando um ecossistema de dados robusto, que atende múltiplos consumidores — de times de produto a research — cada um com diferentes níveis de performance, experimentação e governança. Você vai ajudar a tomar decisões arquiteturais de longo prazo, sem perder o foco em entregar soluções táticas que geram valor imediato. Responsabilidades Arquitetura Lakehouse: Projetar e gerenciar estruturas escaláveis baseadas em Apache Iceberg nos ambientes AWS e GCP, com versionamento, time travel e alto desempenho analítico. Engenharia de Pipelines: Construir e manter pipelines batch e streaming usando Spark, Ray e Dagster. Governança de Dados: Definir e aplicar padrões de qualidade, segurança, linhagem e compliance, assegurando confiabilidade e contexto em todo o ciclo de vida dos dados. Infraestrutura como Código: Utilizar Terraform e CI/CD para versionar e implantar toda a stack de dados — de permissões e buckets a orquestrações e componentes de computação. Arquitetura e Data Warehouse: Projetar arquiteturas de dados e DW multi-cloud (AWS e GCP), garantindo eficiência, escalabilidade e otimização de custo. Gestão de Grafos: Manter e evoluir o grafo heterogêneo de relacionamentos que alimenta nossos modelos de IA. Colaboração Técnica: Trabalhar junto a engenheiros, cientistas de dados e stakeholders técnicos para alinhar a estratégia de dados às metas da Avra. Você se destaca se... Tem domínio em Python e Spark e gosta de resolver problemas complexos em grande escala. Já construiu ou manteve arquiteturas lakehouse com Apache Iceberg ou Delta Lake. Tem experiência com Dagster (ou ferramentas equivalentes) para orquestração de pipelines. Entende profundamente ambientes multi-cloud (AWS e GCP) e sabe tirar o máximo proveito de ambos. Já implementou práticas sólidas de governança, observabilidade e linhagem de dados. Possui experiência com arquitetura de dados e Data Warehouses modernos, equilibrando performance e custo. É uma pessoa proativa, analítica e com mentalidade de produto, que se preocupa em entregar dados úteis, acessíveis e confiáveis. Gosta de trabalhar em um ambiente de inovação, colaboração e velocidade, típico de startups deep tech. Requisitos Experiência: +5 anos em Engenharia de Dados, com histórico de criação e manutenção de arquiteturas escaláveis. Stack Principal: Python, Spark, Ray, Dagster, Iceberg, Terraform, AWS (S3, IAM, Glue, Kinesis) e GCP (BigQuery, GCS, Dataflow, GKE). Domínios Técnicos: Modelagem de dados, pipelines de ETL, governança, linhagem e processamento em tempo real. Metodologias: CI/CD, versionamento de infraestrutura e boas práticas modernas de engenharia de software. Habilidades Interpessoais: Boa comunicação, senso de dono e capacidade de alinhar decisões técnicas à estratégia do produto. Por que se juntar à Avra? Compensação Competitiva: Salário atrativo, participação acionária e total transparência na estrutura de remuneração.