[hd] engenheiro de dados pleno

2 meses atrás

PIRACICABA, Brasil iBlue Consulting Tempo inteiro
O que esperamos de você
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Experiência comprovada em projetos Big Data, Data Warehouse.
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake.
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.
  • Habilidade para realizar tuning avançado de DAGs do Airflow.
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation.
  • Experiência com GitHub e Docker para construção de repositórios de DataOps.
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas.
Como será o seu dia a dia

Papéis e Responsabilidades:


Arquitetura de Dados:

  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure).
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança.

Desenvolvimento de Pipelines de Dados:

  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow, Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Integração com Machine Learning / Artificial Intelligence:

  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI .

Configuração e Tuning do Airflow em Kubernetes (Azure ou AWS):

  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs.
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados.

Práticas de DevOps e MLOps:

  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML / AI em produção.

Colaboração e Comunicação:

  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.

  • Engenheiro de Dados Pleno

    3 semanas atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno será responsável por projetar e implementar arquiteturas de dados em nuvem, definir estratégias para a organização e modelagem de dados no Data Lake, garantindo sua integridade, segurança e governança.Papéis e ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem;Definir estratégias...

  • Engenheiro de Dados

    Há 3 dias

    Piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para verificar bugs, planejar correções e...

  • Engenheiro de Dados

    Há 2 dias

    piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para verificar bugs, planejar correções e...

  • Engenheiro de Dados

    1 semana atrás

    Piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Executar verificações de qualidade de dados e garanta a integridade dos dados em diferentes plataformas.Monitorar e otimizar o desempenho de sistemas de dados e pipelines.

  • Engenheiro de Dados Pleno

    3 semanas atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Dados Pleno visa atender às necessidades de uma equipe de desenvolvimento de soluções de dados e big data. O candidato ideal deve ter experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas.ResponsabilidadesProjetar e implementar arquiteturas Big Data em nuvem...

  • Engenheiro de Dados Pleno

    Há 1 mês

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);Definir...

  • Engenheiro de Dados

    Há 1 mês

    piracicaba, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Empresa de Atividades de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba.

  • Engenheiro de Dados

    3 semanas atrás

    piracicaba, Brasil Empresa de Tecnologia da Informação Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Executar tarefas com competência, sob supervisão.Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.

  • Engenheiro de Dados

    3 semanas atrás

    Piracicaba, Brasil Empresa de Tecnologia da Informação Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Executar tarefas com competência, sob supervisão.Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Empresa de Atividades de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Criar dashboards significativos, registro de logs, alertas e respostas para garantir que problemas sejam capturados e tratados de forma proativa.

  • Engenheiro de Dados

    Há 1 mês

    piracicaba, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Empresa de Atividades de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Criar dashboards significativos, registro de logs, alertas e respostas para garantir que problemas sejam capturados e tratados de forma proativa.

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Descrição do CargoEmpresa de Atividades de Tecnologia da Informação busca Engenheiro de Dados em Piracicaba para criar dashboards significativos e garantir que problemas sejam capturados e tratados de forma proativa.ResponsabilidadesCriar dashboards para visualização de dados;Desenvolver soluções para registro de logs e alertas;Garantir que problemas...

  • Engenheiro de Dados

    Há 4 dias

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para...

  • [hd] engenheiro de dados pleno

    1 semana atrás

    Piracicaba, Brasil Netvagas Tempo inteiro

    Descrição: O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Experiência comprovada em projetos Big Data, Data Warehouse. Profundo conhecimento em Python, Airflow e Big Data & Data Lake. Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e...

  • Engenheiro de Dados

    Há 1 mês

    Piracicaba, São Paulo, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Empresa de Atividades de Tecnologia da InformaçãoEstamos procurando por um Engenheiro de Dados para reforçar nossa equipe em Piracicaba.Responsabilidades:Desenvolver e implementar soluções de análise de dados para melhorar a tomada de decisões da empresa;Trabalhar com times de desenvolvimento para integrar soluções de análise de dados em nossos...

  • Engenheiro de Dados

    1 semana atrás

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Executar verificações de qualidade de dados e garanta a integridade dos dados em diferentes plataformas. Monitorar e otimizar o desempenho de sistemas de dados e pipelines.. É oferecido contrato Home Office, A combinar.

  • Engenheiro de Dados

    3 semanas atrás

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Executar tarefas com competência, sob supervisão. Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.. É oferecido...

  • Engenheiro(a) de Manutenção Pleno

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Sobre a VagaNossa empresa, Raízen, é uma referência global em bioenergia e a 3a maior empresa em faturamento do Brasil. Estamos procurando por um profissional qualificado para atuar como Engenheiro(a) de Manutenção Pleno em nossa equipe.ResponsabilidadesFazer a gestão da validação técnica de materiais de manutenção e desenvolvimento de novos...

  • Engenheiro(a) de Manutenção Pleno

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Oportunidade de DesenvolvimentoEstamos procurando por um profissional qualificado para atuar como Engenheiro(a) de Manutenção Pleno em nossa equipe em Piracicaba/SP. Nesta função, você terá a oportunidade de trabalhar em uma empresa líder no setor de biocombustíveis e desenvolver suas habilidades em manutenção de equipamentos...

  • Engenheiro de Dados

    Há 1 mês

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Atividades de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Criar dashboards significativos, registro de logs, alertas e respostas para garantir que problemas sejam capturados e tratados de forma proativa.. É oferecido contrato Home Office, A combinar.