Pessoa engenheira de dados sênior — foco em governança, catálogo

Há 1 dia

remote, br Datum Tempo integral

Estamos buscando uma pessoa que ouse protagonizar com a gente. 

Responsabilidades e atribuições: 

  • Governança Ativa e Catalogação: Implementar e evoluir a governança de dados no GCP utilizando Dataplex (Dataplex Catalog / Aspect Types, Business Glossary, Data Lineage, Data Profiling), criando pipelines automatizados de coleta e enriquecimento de metadados — incluindo a propagação automática de descrições e tags a partir dos arquivos .sqlx/.yaml do Dataform/dbt via IA (Antigravity/LLMs) e o mapeamento automatizado de dashboards e fontes do Looker Studio combinando Looker Studio API, Cloud Audit Logs (BigQueryAuditMetadata) e INFORMATION_SCHEMA.JOBS.
  • FinOps Operacional no BigQuery: Monitorar continuamente o ambiente via INFORMATION_SCHEMA (jobs, storage, reservations, tabelas órfãs), implementando políticas automatizadas de rotulagem (job_labels e table_labels) para atribuição granular por centro de custo/tribo, criando alertas de anomalia de custo, quotas customizadas por projeto/usuário (maximum_bytes_billed), automatizando o expurgo/arquivamento de tabelas temporárias ou não consultadas (Zombie Tables) e atuando na otimização contínua de queries e armazenamento (Physical vs. Logical bytes).
  • Segurança e Privacidade (By Design): Definir e automatizar políticas de segurança de dados no BigQuery: controle de acesso baseado em tags (Policy Tags para segurança em nível de coluna - CLS), segurança em nível de linha (RLS) e mascaramento dinâmico de dados (PII/LGPD), integrando varreduras automatizadas com Sensitive Data Protection (Cloud DLP) para descoberta e classificação automática de colunas sensíveis recém-ingeridas via código (Terraform/Python).
  • Contratos de Dados: Definir a especificação técnica e o schema de Data Contracts (YAML/JSON Schema), o catálogo de contratos e as regras de evolução de schema (Schema Evolution) entre produtores e consumidores de dados, garantindo que as regras sejam acopladas às esteiras de CI/CD e que alterações em sistemas de origem não quebrem o Data Lake de forma silenciosa.

Requisitos e qualificações:

  • Experiência avançada em Google Cloud Dataplex (incluindo a nova arquitetura de Aspect Types e Entry Groups do Dataplex Catalog em evolução ao Data Catalog clássico), Cloud IAM, Policy Tags e governança de dados em larga escala no BigQuery.
  • Domínio profundo das views do INFORMATION_SCHEMA do BigQuery (JOBS_BY_ORGANIZATION, TABLE_STORAGE_BY_ORGANIZATION, RESERVATION_CHANGES, STREAMING_TIMELINE), exportação de Cloud Billing Detailed Usage Cost, Cloud Audit Logs e APIs do ecossistema GCP (incluindo Looker Studio API) para construção de soluções automatizadas de observabilidade, inventário e FinOps.
  • Sólidos conhecimentos em Python e SQL para automação de políticas de governança, scripts de auditoria e pipelines de metadados.
  • Conhecimento prático da arquitetura de precificação do BigQuery (On-Demand vs. Editions/Slots, Storage Logical vs. Physical, Time Travel costs), técnicas comprovadas de redução de custos e entendimento do impacto de performance/cache ao aplicar Row-Level Security (RLS) e Dynamic Data Masking sobre tabelas particionadas e clusterizadas.

Desejável :

  • Experiência prática com Sensitive Data Protection (Cloud DLP) no GCP para classificação automática de dados pessoais (LGPD).
  • Certificação FinOps Certified Practitioner ou Google Cloud Professional Cloud Security / Data Engineer .
  • Experiência com padrões abertos de contratos de dados, como OpenDataContractStandard (ODCS) ou Data Contract Specification , integrados a catálogos de dados.
  • Experiência no uso de LLMs/Agentes para enriquecimento automatizado de dicionários de dados e classificação semântica de tabelas legadas.

Informações adicionais:

Por aqui, você também conta com vantagens pensadas para apoiar sua rotina, bem-estar e desenvolvimento:

  • Zenklub : duas sessões gratuitas por mês com psicólogos, terapeutas, nutricionistas ou coaches. Sessões extras saem por R$ 70 e o benefício também pode incluir dependentes.
  • ️ Wellhub (Gympass): acesso a descontos de até 75% em mais de 22 mil academias espalhadas pelo Brasil.
  • MomCare : incentivo monetário flexível no período pós-licença maternidade.
  • Incentivo Alura : apoio ao desenvolvimento contínuo, com subsídio de 50% da licença Alura Plus, via reembolso pelo período de 12 meses.
  • Parcerias educacionais : descontos de até 70% em diversas instituições de ensino, incluindo graduação, pós-graduação, MBAs, idiomas e muito mais.
  • RecomenDatum : suas conexões também podem gerar oportunidades Indique profissionais para o nosso time ou empresas para nosso ecossistema e ganha recompensas.

Quer