Desenvolvedor de Dados para Data Lake

1 semana atrás

Brasil RankMyAPP Tempo inteiro
Posição

A posição de Desenvolvedor de Dados para Data Lake está disponível na equipe de Engenharia de Dados da RankMyAPP.

Resumo

Buscamos um profissional experiente em Engenharia de Dados para trabalhar em uma equipe de alto desempenho. O Desenvolvedor de Dados será responsável por alimentar e estruturar o Data Lake por meio de ingestão de dados que contemple ETL/ELT para consolidar informações de múltiplas fontes de dados.

Responsabilidades:
  • Ser parte de uma equipe de alto desempenho, contribuindo diretamente para os resultados da empresa.
  • Alimentar e estruturar o Data Lake por meio de ingestão de dados que contemple ETL/ELT para consolidar informações de múltiplas fontes de dados.
  • Atuar no Enriquecimento de dados para aprimorar nossas capacidades de descoberta e governança de dados.
  • Identificar dados não utilizados/obsoletos e propor como lidar com eles (amostragem, exclusão, movimento para classes de armazenamento mais frias).
  • Encontrar e propor otimizações de modelagem de dados em todo o data lake, como ineficiências com dados duplicados, normalização de dados, tipos de dados, contrato, segurança, etc. (particionamento de tabelas, migração para tabelas delta).
  • Descobrir e testar novas ferramentas de dados para aprimorar nossa infraestrutura.
  • Auxiliar o time com padrões de design de código e melhores práticas de engenharia de dados.
  • Desenvolver pipelines de dados no Apache Airflow.
  • Desenvolver e administrar consultas SQL e tabelas no Data Lake.
  • Governança de dados.
  • Desenvolver pipelines de CI no GitHub Actions.
  • Desenvolver projetos de terraform.
  • Sustentabilidade de nossas aplicações de dados no Kubernetes (EKS).
  • Realizar reuniões de alinhamento com partes interessadas para construir soluções de dados.
Requisitos e habilidades:
  • Graduação em cursos relacionados à computação, como Engenharia da Computação, Ciência da Computação ou área afim.
  • Mais de 3 anos de experiência como engenheiro de dados enfrentando problemas tecnicamente desafiadores.
  • Proficiência em SQL.
  • Experiência na criação de pipelines (Ingestão, tratamento, disponibilização e monitoramento) de dados.
  • Conhecimento e experiência com Python, Deltalake (lib) e Spark.
  • Conhecimento avançado em Data Lake, Data Warehouse e Data Lakehouse.
  • Experiência com AWS.
  • Conhecimento e experiência com Terraform e Docker, Git e GitHub.
  • Conhecimento em CI/CD.
  • Conhecimento e experiência com Airflow.
  • Modelagem Multidimensional.
Preferências:
  • Experiência com metodologias ágeis (Kanban e Scrum).
  • Experiência e domínio de Linux/Shell Script.
  • Experiência com ferramentas Lakehouse (Delta, Iceberg ou Hudi).
  • Experiência com GitHub Actions.
Benefícios

A RankMyAPP oferece uma variedade de benefícios para garantir o bem-estar e o cresimento profissional dos nossos colaboradores.

  • Promovemos autonomia e espaço para você se desenvolver.
  • Ações de capacitações e feedbacks constantes.
  • Ter liberdade de ser quem você é.
  • 1:1s quinzenais com seu gestor.
  • Plano de desenvolvimento individual.
  • Avaliações 360° duas vezes por ano.
  • Somos uma empresa Remoto First.
  • Vale Refeição (Benefício Flexível).
  • Auxílio Home Office.
  • Descanso Remunerado.
  • Décimo Terceiro.
  • Plano de Saúde (Comparticipação de 30%).
  • Plano Dental (Sem comparticipação).
  • Seguro de Vida.
  • Auxílio creche.
  • 6 meses de Licença Maternidade.

  • Data Engineering Manager for the Data Lake Brazil

    1 semana atrás

    Brasil Pismo Soluções Tecnologicas Ltda. Tempo inteiro

    About the RolePismo Soluções Tecnologicas Ltda. is seeking a highly skilled Data Engineering Manager to lead our Data Lake Brazil team.As a key member of our organization, you will be responsible for ensuring the Data Lake meets quality standards, Service Level Objectives (SLOs), and Service Level Agreements (SLAs), while continuously evolving the...

  • Desenvolvedor de Dados em Big Data

    2 semanas atrás

    Brasil BRQ Digital Solutions Tempo inteiro

    Vaga 39204: Arquitetura de Dados em NuvemSobre a BRQ Digital Solutions A BRQ Digital Solutions é uma das maiores empresas de transformação digital do país, com uma plataforma de serviços end to end que oferece as mais eficientes e inovadoras soluções, tecnologias e metodologias. Temos 3 mil funcionários e somos destaque como um dos melhores lugares...

  • Engenheiro de Dados Time Analytics

    Há 1 mês

    Brasil Big Data Brasil Tempo inteiro

    Descrição do CargoO Engenheiro de Dados (Time Analytics) será responsável por desenvolver, otimizar e estruturar arquiteturas de código para melhorar a performance, manutenção e escalabilidade das soluções, utilizando práticas de Engenharia de Software. Além disso, contribuirá para a aplicação dos melhores modelos de desenvolvimento de...

  • Desenvolvedor Salesforce Data Cloud Nível Pleno para Transformação de Dados

    Há 5 dias

    Brasil CI&T Software S.A. Tempo inteiro

    Para se juntar à nossa equipe de excelência em transformação de dados, buscamos um Desenvolvedor Salesforce Data Cloud Nível Pleno. A CI&T Software S.A. é uma empresa líder em tecnologia de dados e somos conhecidos por nossa capacidade de inovar e transformar.Como Desenvolvedor Salesforce Data Cloud, você será responsável por projetar, implementar...

  • Engenheiro De Dados Sênior

    1 semana atrás

    Brasil DAFITI Tempo inteiro

    Desenvolvedor Sênior de Soluções de DadosNossa equipe está em busca de um profissional experiente em desenvolvimento de soluções de dados para liderar o time de dados da nossa empresa. Responsabilidades:Liderar a equipe de dados e garantir a implementação de soluções inovadoras.Desenvolver e manter pipelines de dados escaláveis e confiáveis para...

  • Engenheiro de Dados para Desenvolvimento de Soluções Escaláveis

    3 semanas atrás

    Brasil Big Data Brasil Tempo inteiro

    Descrição do CargoEstamos procurando por um Engenheiro de Dados para integrar nosso Time de Analytics. O candidato ideal será responsável por desenvolver, otimizar e estruturar arquiteturas de código para melhorar a performance, manutenção e escalabilidade das soluções, utilizando práticas de Engenharia de Software.Responsabilidades...

  • Engenheiro de Dados

    3 semanas atrás

    Brasil Mirante Tecnologia Tempo inteiro

    Cargo: Engenheiro de DadosTipo de contratação: CLTModalidade: RemotoFormação: Superior em TIREQUISITOS/HABILIDADES OBRIGATÓRIOS:Conhecimento em tecnologias relacionadas a arquitetura Big Data (AWS, Cloudera, Databricks);Experiência em desenvolvimento de soluções em nuvem;Conhecimento em linguagens de programação (Scala, Python, Java);Experiência...

  • Líder Técnico de Desenvolvimento de Dados

    3 semanas atrás

    Brasil Big Data Tempo inteiro

    Desenvolvedor de DadosBuscamos um profissional experiente para liderar nosso time de desenvolvimento de dados. O candidato ideal terá conhecimento avançado em tecnologias de dados, bibliotecas e recursos ligados à linguagem de programação Python.Responsabilidades:Orientar tecnicamente os desenvolvedores de dados;Alinhar definições e integrações da...

  • Engenheiro de Dados

    1 semana atrás

    Brasil Stefanini Group Tempo inteiro

    Descrição do CargoEstamos procurando por um Engenheiro de Dados experiente para se juntar à nossa equipe de tecnologia. O candidato ideal terá experiência em construir pipelines de dados, desde a extração até a ingestão e estruturação dos dados no Data Lake Corporativo.ResponsabilidadesConstruir pipelines de dados para a ingestão e estruturação...

  • Desenvolvedor de Software de Dados

    1 semana atrás

    Brasil NetLex Brasil Tempo inteiro

    Desenvolvedor de Plataforma de DadosNossa equipe de plataforma de dados está em busca de um Desenvolvedor de Plataforma de Dados para se juntar a nós.O ideal é que você tenha experiência em desenvolvimento de software com linguagens como Python, Java, C# e PHP, além de conhecimento em frameworks web modernos.Além disso, é importante que você tenha...

  • Engenheiro de Dados Senior

    3 semanas atrás

    Brasil GFT Technologies Tempo inteiro

    O que buscamos:Profissional de nível avançado para atuar em Engenharia de Dados. A modalidade de trabalho é remota.Requisitos e qualificações:Implementar e gerenciar cargas de dados utilizando ferramentas como Fivetran, Data Proc e Dataflow;Trabalhar com Databricks e Delta Lake para otimização de fluxos de dados;Desenvolver scripts em PySpark para...

  • Engenheiro de Dados Pleno

    3 semanas atrás

    Brasil Tempest Security Intelligence Tempo inteiro

    Desenvolvedor de Soluções de DadosBuscamos um profissional experiente em desenvolvimento de soluções de dados para se juntar à nossa equipe de Ciência de Dados em Tempest Security Intelligence.Responsabilidades:Desenvolver abordagens modernas para garantir fluxo de dados de ponta a ponta com escalabilidade, qualidade e resiliência;Definir e atualizar...

  • Desenvolvedor Back End

    3 semanas atrás

    Brasil Neoway Tempo inteiro

    Construa o Futuro com Nós!Estamos procurando por um Desenvolvedor Back End para se juntar a nossa equipe de alta tecnologia em Neoway. Nossa empresa é líder em Hub de Dados e Analytics no Brasil e estamos sempre em busca de talentos para ajudar a construir o futuro.Responsabilidades:Desenvolver soluções inovadoras para Big Data e Data Lake;Conceber e...

  • Desenvolvedor Salesforce Data Cloud Pleno

    2 semanas atrás

    Brasil Ciandt Tempo inteiro

    Nossa equipe de tecnologia é composta por especialistas em transformação digital que trabalham em estreita colaboração com clientes para apoiá-los a navegar as mudanças na tecnologia e nos negócios.Com 30 anos de experiência, 6.000 pessoas e escritórios em 10 países, somos uma das principais empresas de tecnologia do mundo. Nossa missão é apoiar...

  • Especialista em Infraestrutura de Big Data

    2 semanas atrás

    brasil K2 Solutions©️ Tempo inteiro

    Tipo de Contratação: CLTModelo de Trabalho: Home OfficeCarga Horária: 40 horas semanaisEmpresa Multinacional de Tecnologia.Principais Responsabilidades:Tratamento de incidentes de infraestrutura em ambientes Big Data, incluindo Data Lake, Lakehouse e CDP.Gerenciamento de mudanças em clusters, criação de roteiros e checklists de instalação e...

  • Especialista em Infraestrutura de Big Data

    1 semana atrás

    brasil K2 Solutions©️ Tempo inteiro

    Tipo de Contratação: CLT Modelo de Trabalho: Home Office Carga Horária: 40 horas semanais Empresa Multinacional de Tecnologia. Principais Responsabilidades: Tratamento de incidentes de infraestrutura em ambientes Big Data, incluindo Data Lake, Lakehouse e CDP. Gerenciamento de mudanças em clusters, criação de roteiros e checklists de instalação e...

  • Especialista em Infraestrutura de Big Data

    2 semanas atrás

    Brasil K2 Solutions©️ Tempo inteiro

    Tipo de Contratação: CLT Modelo de Trabalho: Home Office Carga Horária: 40 horas semanais Empresa Multinacional de Tecnologia. Principais Responsabilidades: Tratamento de incidentes de infraestrutura em ambientes Big Data, incluindo Data Lake, Lakehouse e CDP. Gerenciamento de mudanças em clusters, criação de roteiros e checklists de...

  • Engenheiro de Dados

    Há 1 mês

    Brasil Spinprice Outsourcing Tempo inteiro

    Estamos buscando um Engenheiro de Dados experiente para integrar nossa equipe de tecnologia. Requisitos Sólida experiência como Engenheiro de Dados, preferencialmente no setor de saúde; Experiência em arquiteturas de Data Lake usando Oracle Cloud Infrastructure (OCI) e Oracle S3; Experiência com ferramentas de integração de dados e pipelines de...

  • Engenheiro de Dados

    Há 1 mês

    brasil Spinprice Outsourcing Tempo inteiro

    Estamos buscando um Engenheiro de Dados experiente para integrar nossa equipe de tecnologia.RequisitosSólida experiência como Engenheiro de Dados, preferencialmente no setor de saúde;Experiência em arquiteturas de Data Lake usando Oracle Cloud Infrastructure (OCI) e Oracle S3;Experiência com ferramentas de integração de dados e pipelines de ETL, como...

  • Engenheiro de Dados

    4 semanas atrás

    brasil Spinprice Outsourcing Tempo inteiro

    Estamos buscando um Engenheiro de Dados experiente para integrar nossa equipe de tecnologia. Requisitos Sólida experiência como Engenheiro de Dados, preferencialmente no setor de saúde; Experiência em arquiteturas de Data Lake usando Oracle Cloud Infrastructure (OCI) e Oracle S3; Experiência com ferramentas de integração de dados e pipelines de ETL,...