Arquiteto de dados

O que buscamos?

Atribuições principais:

Acompanhar soluções de arquitetura relacionadas ao armazenamento e integração de dados;

Desenhar soluções de arquitetura relacionadas ao armazenamento e integração de dados;

Apoiar os PMOs na obtenção de dados, organização e acompanhamento de projetos;

Elaborar planos de execução, comunicação e acompanhamento de projeto;

Elaborar indicadores e garantir as entregas de pacotes de serviço e atividades a serem desempenhadas para a execução do projeto;

Traduzir grandes volumes de informação em decisões de negócio efetivas;

Definir e supervisionar a estratégia de migração de dados de sistemas legados para novas soluções.

Requisitos:

Especialista: Databricks, Arquitetura e Streaming

Missão da posição

Desenhar, decidir e evoluir a arquitetura de dados da empresa, principalmente as plataformas Lakehouse (Databricks) e de streaming em tempo real (Kafka). A pessoa atua como referência técnica e responde pelas escolhas de arquitetura.

Requisitos obrigatórios

Databricks e Lakehouse

• Experiência sólida em Databricks em produção: Workspaces, Clusters, Jobs/Workflows, Databricks SQL e Repos.
• Domínio de Delta Lake: ACID, time travel, OPTIMIZE/Z-ORDER, Liquid Clustering, VACUUM, Change Data Feed e schema evolution.
• Unity Catalog: governança, lineage, controle de acesso e organização em catálogos, schemas e volumes.
• Delta Live Tables / Lakeflow Declarative Pipelines e Auto Loader.
• Arquitetura Medallion (Bronze/Silver/Gold) e modelagem para Lakehouse.
• Tuning de Spark e controle de custos: particionamento, AQE, Photon, dimensionamento de clusters, serverless e análise de DBUs.

Kafka e streaming

• Experiência avançada com Apache Kafka (Confluent, MSK ou Event Hubs com Kafka API): tópicos, partições, replicação, consumer groups, offsets e retenção/compaction.
• Domínio de Spark Structured Streaming: watermarks, janelas, stateful processing, checkpoints, triggers e garantias exactly-once.
• Schema Registry (Avro/Protobuf/JSON Schema) e estratégias de compatibilidade.
• Kafka Connect e CDC (Debezium ou equivalentes).
• Saber lidar com dados fora de ordem, duplicidade, late data, backpressure e reprocessamento (replay).
• Ter dimensionado throughput e latência e monitorado consumer lag.

Arquitetura e tomada de decisão

• Ter desenhado arquiteturas de dados ponta a ponta (batch + streaming, Lambda/Kappa, Lakehouse, Data Mesh).
• Capacidade de avaliar trade-offs (custo, latência, complexidade, governança) e registrar decisões, por exemplo em ADRs.
• Definir padrões, boas práticas e guardrails para o time.
• Comunicar decisões técnicas para áreas de negócio e para a liderança.

Fundamentos

• Python (PySpark) e SQL avançado. Scala é um diferencial.
• Cloud: Azure, AWS ou GCP, incluindo storage, rede, IAM e segurança.
• CI/CD para dados: Databricks Asset Bundles, Git, Azure DevOps/GitHub Actions.
• Infraestrutura como código (Terraform).
• Qualidade e observabilidade de dados: expectations, testes, data contracts e alertas.

Diferenciais

• Certificações: Databricks Certified Data Engineer Professional, Confluent Certified Developer/Administrator for Apache Kafka.
• Flink ou Kafka Streams / ksqlDB.
• Experiência com MLOps e Feature Store no Databricks (MLflow).
• Contexto em setores regulados (financeiro, seguros) e LGPD.
• Experiência como Tech Lead ou mentor de engenheiros.
• Migração de plataformas legadas (Hadoop, DW on-premises) para Lakehouse.

Principais responsabilidades

• Definir e evoluir a arquitetura de referência de dados (batch e tempo real).
• Construir e manter pipelines de streaming críticos, de baixa latência e alta disponibilidade.
• Tomar e documentar decisões técnicas, conduzindo design reviews.
• Otimizar custo e performance da plataforma Databricks.
• Garantir governança, segurança e qualidade dos dados.
• Apoiar e desenvolver tecnicamente o time de engenharia de dados.

Localidade da posição: 100% remota

Quem é a Insi?

Somos uma consultoria especializada em evolução digital. Mas, acima de tudo, somos uma empresa de gente. Gente que ouve antes de propor. Que vai ao essencial antes de apresentar solução. Que mede sucesso pelo que mudou de verdade, não pelo que foi implementado.

Com mais de três décadas de história e presença global, acreditamos que a verdadeira transformação começa dentro: dentro das pessoas, das equipes, das organizações — e é essa convicção que orienta cada escolha que fazemos, cada projeto que entregamos, cada pessoa que desenvolvemos.

Por que construir sua carreira na Insi?

Porque aqui você pensa, dec