Senior Databricks Platform Engineer

Sobre a vaga

A UPBI está em busca de um(a) Engenheiro(a) de Plataforma sênior para atuar em um projeto para cliente internacional. Administrar e evoluir uma plataforma de dados Databricks na AWS, cuidando de infraestrutura, segurança, governança, automação e custos, além de preparar o ambiente para projetos de IA Generativa.

Responsabilidades:

• Arquitetar e manter um ambiente Databricks multi-região na AWS, com segurança por padrão: VPCs gerenciadas, PrivateLink, Transit Gateway e IAM com roles entre contas
• Estruturar a infraestrutura para IA Generativa: MLflow para governança de modelos, Databricks Vector Search para aplicações RAG e clusters com GPU para inferência
• Gerenciar todos os recursos da plataforma (workspaces, clusters, jobs) como código, com Terraform e Databricks Asset Bundles, sem alterações manuais em produção
• Revisar escolhas técnicas antigas com olhar crítico, questionando o status quo quando necessário
• Conduzir revisões mensais de custos (FinOps) com AWS Cost Explorer e system tables do Databricks, separando investimentos necessários de projetos que não trazem mais retorno
• Ser responsável pelo relacionamento estratégico com fornecedores (Databricks, AWS, Fivetran, Sigma), cobrando resultados e resolvendo bloqueios de suporte
• Promover a cultura de Data Mesh, tratando dados como produtos, com contratos, SLOs e padrões de publicação
• Implementar controles de privacidade para atender GDPR, CCPA e SOC2, incluindo fluxos automatizados de exclusão de dados ("Right to Be Forgotten") e mascaramento de dados pessoais no Lakehouse
• Administrar o ambiente Sigma Computing: estrutura de workspaces, versionamento e promoção de ativos de Dev para Produção
• Definir e aplicar políticas de controle de acesso (RBAC) no Unity Catalog e no AWS IAM, seguindo o princípio de menor privilégio
• Gerenciar pipelines de replicação de alto volume com Fivetran e AWS DMS, garantindo fidelidade dos dados, tratamento de mudanças de schema e custos otimizados
• Revisar código de pipelines críticos, aplicando boas práticas como Z-ordering, Liquid Clustering e Schema Evolution
• Atuar junto aos times de analytics, ciência de dados e negócio para desenhar soluções escaláveis
• Trazer novas tecnologias e boas práticas para melhorar escalabilidade, automação e produtividade

Requisitos:

• Experiência em Engenharia ou Arquitetura de Dados, atuando diariamente com Databricks na AWS em produção
• Conhecimento aprofundado de normas de compliance de dados (GDPR, CCPA, HIPAA) e experiência implementando controles de proteção de dados pessoais, como views dinâmicas e criptografia por coluna
• Domínio avançado de Fivetran (configuração de conectores e transformações), AWS DMS e Sigma Computing (administração, versionamento e segurança)
• Conhecimento aprofundado de controle de acesso (RBAC) em sistemas distribuídos, especialmente Unity Catalog e AWS IAM Identity Center
• Experiência sólida em rede AWS (Transit Gateway, VPC Endpoints, subnets privadas) e segurança (SCPs, criptografia, IAM Identity Center)
• Experiência comprovada em produção com CI/CD usando GitHub Actions e Databricks Asset Bundles
• Experiência na gestão de fornecedores de software corporativo: uso de contratos, escalonamentos técnicos e alinhamento de roadmap
• Histórico de decisões técnicas de alto impacto, incluindo situações em que recomendou interromper um projeto para economizar recursos
• Conhecimento de IA Generativa e técnicas modernas de Machine Learning (LLMs, transformers, deep learning) e de como se integram à engenharia de dados
• Conhecimento de metodologias ágeis e ferramentas como Jira e Confluence
• Certificação Databricks Certified Data Engineer Professional (fortemente desejável) ou AWS Solutions Architect Professional