Engenheiro de dados pl

4 semanas atrás

HOME OFFICE, Brasil Stefanini Group Tempo inteiro

Requisitos essenciais:

  • Experiência relevante com Python e SQL.
  • Sólidos conhecimentos em serviços AWS, incluindo:
  • Amazon S3 para armazenamento de dados.
  • Amazon Athena para consultas serverless.
  • Experiência com Trino (anteriormente PrestoSQL) para queries distribuídas.
  • Domínio do Databricks e Delta Lake para processamento de dados.
  • Experiência com PySpark para processamento de dados em larga escala.
  • Conhecimento em modelagem de dados e data warehousing.
  • Experiência com particionamento e otimização de performance em data lakes.
  • Domínio de versionamento Git e metodologias ágeis usando Azure DevOps.
  • Experiência com formatos de dados modernos (Parquet, Delta, Iceberg).


Diferenciais:


  • Certificações AWS (Data Analytics, Solutions Architect ou Data Engineer).
  • Experiência com Apache Airflow para orquestração.
  • Experiência com streaming de dados (Kinesis, Kafka).
  • Conhecimento em dbt (Data Build Tool) para transformações.
  • Experiência com Great Expectations para qualidade de dados.
  • Familiaridade com ferramentas de CDC (Change Data Capture).
  • Conhecimento em observabilidade e monitoramento (Elastic Search com Kibana).
  • Experiência com APIs RESTful.
  • Conhecimento em containerização (Docker, Kubernetes).
  • Experiência com Terraform ou CloudFormation para IaC.

O que esperamos que você realize:

  • Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks.
  • Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas
  • Desenvolver queries e análises complexas com Amazon Athena, Trino e Databricks.
  • Implementar processos de ETL/ELT para integração de múltiplas fontes de dados.
  • Otimizar a performance de queries e o processamento de dados em larga escala.
  • Participar de code reviews e fornecer mentoria técnica à equipe.
  • Colaborar com stakeholders de negócios para traduzir requisitos em soluções técnicas.
  • Implementar rotinas de monitoramento e observabilidade dos pipelines de dados
  • Agendar a execução de rotinas de ETL usando Apache Airflow.


  • Engenheiro de dados pl

    2 semanas atrás

    HOME OFFICE, Brasil Objective Tempo inteiro

    Somos ávidos por tecnologia, criatividade e desafios. Se você gosta de desafios, aprendizado constante e valoriza as conexões pessoais, junte-se a nós! # Valorizamos a diversidade e acreditamos que ela é fundamental para a inovação e entregas de valor aos nossos clientes. Todas as nossas vagas são destinadas a todas as pessoas, com ou sem...

  • Engenheiro de dados

    2 semanas atrás

    HOME OFFICE, Brasil Magazine Luiza Tempo inteiro

    No Luizalabs, temos grande autonomia e responsabilidade, somos multidisciplinares, auto gerenciáveis e com pouca burocracia no nosso cotidiano, lutando para sempre romper barreiras, elevar a barra técnica e ampliar nossa capacidade de agregar valor ao negócio. Fazemos entregas frequentes e agimos rapidamente ao encontrar problemas; nosso ritmo é...

  • Engenheiro(a) de dados pl/sr

    4 semanas atrás

    HOME OFFICE, Brasil Objective Tempo inteiro

    Somos ávidos por tecnologia, criatividade e desafios. Se você gosta de desafios, aprendizado constante e valoriza as conexões pessoais, junte-se a nós! # Valorizamos a diversidade e acreditamos que ela é fundamental para a inovação e entregas de valor aos nossos clientes. Todas as nossas vagas são destinadas a todas as pessoas, com ou sem...

  • Engenheiro de dados pl| gcp

    2 semanas atrás

    HOME OFFICE, Brasil Objective Tempo inteiro

    Somos ávidos por tecnologia, criatividade e desafios. Se você gosta de desafios, aprendizado constante e valoriza as conexões pessoais, junte-se a nós! # Valorizamos a diversidade e acreditamos que ela é fundamental para a inovação e entregas de valor aos nossos clientes. Todas as nossas vagas são destinadas a todas as pessoas, com ou sem...

  • Engenheiro(a) de dados pl

    2 semanas atrás

    HOME OFFICE, Brasil AltoQi Tempo inteiro

    Buscamos uma pessoa Engenheiro(a) de Dados Pleno para atuar na equipe de Desenvolvimento da AltoQi.    A AltoQi atua no mercado da construção civil há mais de trinta anos. Entregamos soluções completas, integradas e alinhadas à metodologia BIM (modelagem de informação da construção).  Aqui você representará uma empresa que está...

  • Engenheiro dados senior

    2 semanas atrás

    HOME OFFICE, Brasil KMM by nstech Tempo inteiro

    Requisitos obrigatórios: Domínio de Python para desenvolvimento de pipelines e automações. Conhecimento avançado em SQL (consultas complexas, tuning, índices, CTEs, particionamento, views materializadas). Experiência sólida com Apache Airflow (orquestração, versionamento, monitoramento). Experiência com PostgreSQL e modelagem de dados para Data...

  • Engenheiro/a de dados

    2 semanas atrás

    HOME OFFICE, Brasil Bridge & Co. Tempo inteiro

    Que tal fazer parte do nosso time como Engenheiro(a) de Dados? Sua missão será estruturar soluções de dados robustas e escaláveis, com base técnica sólida e pensamento conceitual. Você será responsável por desenhar, documentar e evoluir arquiteturas de dados corporativas, definindo padrões e boas práticas para ingestão, modelagem e governança....

  • Engenheiro(a) de dados pl | azure

    4 semanas atrás

    HOME OFFICE, Brasil Objective Tempo inteiro

    Somos ávidos por tecnologia, criatividade e desafios. Se você gosta de desafios, aprendizado constante e valoriza as conexões pessoais, junte-se a nós! # Valorizamos a diversidade e acreditamos que ela é fundamental para a inovação e entregas de valor aos nossos clientes. Todas as nossas vagas são destinadas a todas as pessoas, com ou sem...

  • Engenheiro de dados

    1 semana atrás

    HOME OFFICE, Brasil NCS Tempo inteiro

     O que você precisa ter Experiência com Databricks; Experiência com serviços de dados em nuvem (AWS, Azure); Experiência em ferramentas de integração e transformação de dados; Conhecimento em SQL intermediário e Python voltado para engenharia de dados e Spark; Familiaridade com processos de versionamento (Git), CI/CD e automações; Conhecimento...

  • Engenheiro de dados sênior

    2 semanas atrás

    HOME OFFICE, Brasil Clavis Tempo inteiro

    Nome da vaga Engenheiro de Dados Responsabilidades: Definir e projetar a arquitetura de dados para projetos complexos e de grande escala, garantindo escalabilidade, performance e segurança. Liderar o desenvolvimento e a otimização de pipelines de dados robustos e eficientes utilizando Python para processamento massivo e em tempo real. Ser o especialista...