Engenheiro de Dados PL

Há 3 dias

São Paulo, São Paulo, Brasil SysMap Tempo inteiro R$80.000 - R$120.000 por ano
Description

Sobre a posição

Buscamos um Engenheiro de Dados Sênior com sólida experiência em soluções de dados na nuvem AWS para desenvolvimento e implementação de arquiteturas de dados modernas e escaláveis. O profissional irá trabalhar na construção de pipelines de dados robustos, implementação de data lakes e data warehouses, e desenvolvimento de soluções analíticas utilizando o ecossistema AWS em conjunto com Databricks e Trino para processamento distribuído de grandes volumes de dados.

Responsabilidades

  • Projetar e construir pipelines de dados eficientes usando AWS Athena, PySpark e Databricks
  • Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas
  • Desenvolver queries e análises complexas usando Amazon Athena, Trino e Databricks
  • Implementar processos de ETL/ELT para integração de múltiplas fontes de dados
  • Otimizar performance de queries e processamento de dados em larga escala
  • Participar de code reviews e mentoria técnica da equipe
  • Colaborar com stakeholders de negócios para traduzir requisitos em soluções técnicas
  • Implementar rotinas de monitoramento e observabilidade dos pipelines de dados
  • Agendar execução de rotinas de ETL usando o Apache Airflow


Requirements

Requisitos Técnicos

Essenciais

  • Experiência avançada com Python e SQL
  • Sólidos conhecimentos em serviços AWS:
    • Amazon S3 para armazenamento de dados
    • Amazon Athena para consultas serverless
  • Experiência com Trino (anteriormente PrestoSQL) para queries distribuídas
  • Domínio do Databricks e Delta Lake para processamento de dados
  • Experiência com PySpark para processamento de dados em larga escala
  • Conhecimento em modelagem de dados e data warehousing
  • Experiência com particionamento e otimização de performance em data lakes
  • Domínio de versionamento Git e metodologias ágeis usando o Azure DevOps
  • Experiência com formatos de dados modernos (Parquet, Delta, Iceberg)

Diferenciais

  • Certificações AWS (Data Analytics, Solutions Architect ou Data Engineer)
  • Experiência com Apache Airflow para orquestração
  • Experiência com streaming de dados (Kinesis, Kafka)
  • Conhecimento em dbt (Data Build Tool) para transformações
  • Experiência com Great Expectations para qualidade de dados
  • Familiaridade com ferramentas de CDC (Change Data Capture)
  • Conhecimento em observabilidade e monitoramento (Elastic Search com Kibana)
  • Experiência com APIs RESTful
  • Conhecimento em containerização (Docker, Kubernetes)
  • Experiência com Terraform ou CloudFormation para IaC
Benefits
- Plano de saúde (Sulamérica)
- Plano odontológico (Amil)
- Seguro de vida
- Vale refeição (Pluxee)

  • Engenheiro(a) de Dados

    Há 3 dias

    São Paulo, São Paulo, Brasil vaga para Engenheiro Tempo inteiro R$80.000 - R$120.000 por ano

    Sobre nós ​ A XP Inc. é uma das maiores instituições financeiras independente do Brasil, dona das marcas XP, Rico, Clear, XP Educação, InfoMoney, entre outras. Com mais de 4,6 milhões de clientes ativos e um valor superior a R$ 1,1 trilhão de ativos sob custódia, há 24 anos vem transformando o mercado financeiro para melhorar a vida das...

  • Engenheiro de Dados Sênior

    1 semana atrás

    São Paulo, São Paulo, Brasil innolevels - Leveraging your Business Tempo inteiro R$60.000 - R$120.000 por ano

    Estamos contratando Engenheiro de Dados GEO responsável por projetar e otimizar pipelines escaláveis, garantindo integração eficiente entre diversas fontes como redes de telecomunicações, governo e dados de mobilidade. Entendemos que para essa evolução, é necessário: • Graduação em Sistemas de Informação, Ciência da Computação, Engenharia,...

  • Engenheiro de Dados

    2 semanas atrás

    São Paulo, São Paulo, Brasil Evertec Brasil Tempo inteiro R$80.000 por ano

    Nós somos a EvertecAcreditamos que a inovação tecnológica inspira a evolução. Afinal, foi assim, desbravando territórios e arriscando, que chegamos à liderança. Somos base, sistema e conexão. O universo das transações financeiras é vivo e, ao abraçar o desafio de estar sempre um passo à frente, garantimos o impacto positivo da nossa atuação....

  • engenheiro de dados pl

    1 semana atrás

    São Paulo, São Paulo, Brasil STRADA Tempo inteiro R$60.000 - R$120.000 por ano

    Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na construção, manutenção e otimização de pipelines de dados em um ambiente altamente escalável e orientado à performance. Se você tem experiência sólida com GCP, BigQuery e práticas modernas de engenharia de dados, essa oportunidade é para vocêResponsabilidadesConstrução e...

  • Engenheiro de Dados Pl

    1 semana atrás

    São Paulo, São Paulo, Brasil TDW Bi Consulting Tempo inteiro R$80.000 - R$120.000 por ano

    Sobre o Grupo SynoroO Grupo Synoroé um ecossistema de empresas especializadas em tecnologia e inteligência de dados, que atuam de forma integrada para entregar soluções inovadoras e de alto impacto. Com foco em performance, qualidade e inovação, impulsionamos a transformação digital de grandes clientes em diversos segmentos.Sobre a TDWÉ a empresa...

  • Engenheiro de Dados GEO

    1 semana atrás

    São Paulo, São Paulo, Brasil innolevels Tempo inteiro R$80.000 - R$120.000 por ano

    Estamos contratandoEngenheiro de Dados GEOresponsável por projetar e otimizar pipelines escaláveis, garantindo integração eficiente entre diversas fontes como redes de telecomunicações, governo e dados de mobilidade.Entendemos que para essa evolução,é necessário:Graduação em Sistemas de Informação, Ciência da Computação, Engenharia,...

  • Engenheiro de Dados

    Há 21 horas

    São Paulo, São Paulo, Brasil Grupo Criatto Rh Tempo inteiro R$4.500 - R$12.000 por ano

    Estamos em busca de umEngenheiro de Dados Sêniorpara integrar nosso time e contribuir diretamente em projetos de grande porte e complexidade, com foco em ambientes de nuvem Microsoft Azure.RequisitosExperiência sólida como engenheiro de dados em projetos de grande porte;Expertise comprovada em grandes clouds (Azure, AWS ou GCP), com forte preferência por...

  • Engenheiro de Dados

    Há 3 dias

    São Paulo, São Paulo, Brasil Grupo Criatto Tempo inteiro R$90.000 - R$120.000 por ano

    Estamos em busca de um Engenheiro de Dados Sênior para integrar nosso time e contribuir diretamente em projetos de grande porte e complexidade, com foco em ambientes de nuvem Microsoft Azure. RequirementsExperiência sólida como engenheiro de dados em projetos de grande porte;Expertise comprovada em grandes clouds (Azure, AWS ou GCP), com forte...

  • Engenheiro de Dados

    1 semana atrás

    São Paulo, São Paulo, Brasil Jobbol Tempo inteiro R$60.000 - R$120.000 por ano

    Empresa de serviços de tecnologia da informação admite Engenheiro de Dados em São Paulo (Morumbi).Responsabilidades:Tarefas pertinentes a rotinas de Engenheiro de Dados.Remuneração:Salário: A combinar.Benefícios a combinar.Outras Informações:Contrato: HíbridaPeríodo: Tempo integralJornada: A combinar.Local de Trabalho: Modalidade de trabalho...

  • Engenheiro de Dados

    1 semana atrás

    São Paulo, São Paulo, Brasil Jobbol Tempo inteiro R$60.000 - R$120.000 por ano

    Empresa de serviços de tecnologia da informação admite Engenheiro de Dados em São Paulo (Vila Olímpia).Responsabilidades:Tarefas pertinentes a rotinas de Engenheiro de Dados.Remuneração:Salário: A combinar.Benefícios a combinar.Outras Informações:Contrato: HíbridaPeríodo: Tempo integralJornada: A combinar.Local de Trabalho: Modalidade de...