Engenheiro(a) de dados sênior

Engenheiro(a) de Dados Sênior (Databricks) - Remoto

Você conhece a Icon?

Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.

Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON

Sobre a Vaga

Código da vaga: A67602237209

Modelo de contratação: PJ

Buscamos um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks para atuar na construção de soluções modernas de dados, apoiando organizações em suas jornadas de transformação digital e analytics.
Você fará parte do Centro de Excelência Databricks, trabalhando com arquiteturas Lakehouse, processamento distribuído, streaming de dados e tecnologias de última geração para desenvolvimento de plataformas de dados escaláveis.

Responsabilidades
* Atuar como referência técnica em projetos de dados, com mínima supervisão.
* Desenvolver soluções inovadoras utilizando a plataforma Databricks e arquiteturas Lakehouse modernas.
* Participar da construção de plataformas de dados de próxima geração.
* Trabalhar em conjunto com Arquitetos de Solução na definição e implementação de componentes da arquitetura.
* Participar de workshops técnicos e sessões de design de soluções.
* Transformar requisitos complexos em entregas técnicas estruturadas.
* Desenvolver aceleradores, frameworks e componentes reutilizáveis para o Centro de Excelência Databricks.
* Colaborar com equipes multidisciplinares para garantir qualidade, escalabilidade e performance das soluções.

Principais Atividades Técnicas
* Desenvolvimento de pipelines de dados utilizando Databricks.
* Implementação e administração de:
    * Delta Lake
    * Unity Catalog
    * Delta Live Tables (Lakeflow Declarative Pipelines)
    * Apache Iceberg / Uniform
* Construção de pipelines batch, micro-batch e streaming.
* Ingestão de dados utilizando Auto Loader.
* Desenvolvimento de workflows e orquestrações utilizando:
    * Databricks Workflows
    * Apache Airflow
    * dbt
* Implementação de mecanismos de observabilidade, auditoria e qualidade de dados.
* Aplicação de práticas DevOps e CI/CD para ambientes Databricks.

Requisitos Obrigatórios
* Experiência sólida em Engenharia de Dados.
* Mínimo de 2 anos de experiência prática com Databricks em ambiente produtivo.
* Experiência em desenvolvimento de pipelines escaláveis orientados por configuração (YAML).
* Conhecimento avançado em:
    * SQL
    * Python
    * PySpark
* Vivência com arquiteturas de dados modernas.
* Conhecimento em:
    * Apache Spark
    * Presto
    * Amazon EMR
* Experiência com Data Warehouses Cloud:
    * Snowflake
    * Amazon Redshift
    * Google BigQuery
* Experiência com integração contínua e entrega contínua (CI/CD).
* Conhecimento em Git e versionamento de código.

Diferenciais
* Certificação Databricks Data Engineer Associate ou Professional.
* Experiência com Terraform e Infraestrutura como Código (IaC).
* Conhecimento em Great Expectations, Collibra ou ferramentas de Data Quality.
* Experiência com bancos NoSQL.
* Conhecimento em containers e Kubernetes.
* Vivência com MLflow e soluções de IA Generativa.
* Participação em projetos de modernização e migração para Lakehouse.

Local

Remoto

#vemserICON