[hd] engenheiro de dados senior

2 meses atrás

PIRACICABA, Brasil iBlue Consulting Tempo inteiro
O que esperamos de você
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Desejável pós-graduação em áreas correlatas;
  • Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar e implementar arquiteturas de armazenamento de dados eficientes para suportar análises Big Data;
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise;
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake;
  • Experiência com configuração de ambiente Airflow em Kubernetes AKS;
  • Habilidade para realizar tuning avançado de DAGs do Airflow;
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation;
  • Experiência com GitHub e Docker para construção de repositórios de DataOps;
  • Conhecimento em MLOps para apoiar os Cientistas de Dados;
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas;
  • Experiência com manipulação de grandes volumes de dados;
  • Experiência com criação de especificação técnica e funcional;
  • Compreensão de metodologias Agile;
  • Sólidos conhecimentos em modelagem, desenvolvimento e monitoramento de processos.
Como será o seu dia a dia

Papéis e Responsabilidades:


Arquitetura de Dados:

  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure).
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança.

Desenvolvimento de Pipelines de Dados:

  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow, Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Integração com Machine Learning / Artificial Intelligence:

  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI .

Configuração e Tuning do Airflow em Kubernetes (Azure ou AWS):

  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs.
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados.

Práticas de DevOps e MLOps:

  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML / AI em produção.

Colaboração e Comunicação:

  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.

  • Engenheiro de Dados Senior

    3 semanas atrás

    Piracicaba, São Paulo, Brasil Iblue Consulting Tempo inteiro

    Descrição do CargoO Iblue Consulting está procurando por um profissional experiente em Ciência de Dados para atuar como Engenheiro de Dados Senior. O candidato ideal terá experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados e arquiteturas de armazenamento de dados eficientes.ResponsabilidadesArquitetura de Dados: Projetar e...

  • Engenheiro de Dados

    Há 7 dias

    Piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para verificar bugs, planejar correções e...

  • Engenheiro de Dados

    Há 6 dias

    piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para verificar bugs, planejar correções e...

  • Engenheiro de Dados Senior

    4 semanas atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory.ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);Definir estratégias para organização...

  • Engenheiro de Dados

    2 semanas atrás

    Piracicaba, Brasil Empresa de Software Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba. Executar verificações de qualidade de dados e garanta a integridade dos dados em diferentes plataformas.Monitorar e otimizar o desempenho de sistemas de dados e pipelines.

  • Engenheiro de Dados

    4 semanas atrás

    piracicaba, Brasil Empresa de Tecnologia da Informação Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Executar tarefas com competência, sob supervisão.Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, Brasil Empresa de Tecnologia da Informação Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba. Executar tarefas com competência, sob supervisão.Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.

  • Engenheiro de Dados

    1 semana atrás

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Colaborar com analistas de dados, engenheiros, partes interessadas de negócios, cientistas de dados e outros membros da equipe para entender os requisitos detalhados de dados. Colaborar com analistas de dados e outros membros da equipe do projeto para...

  • [hd] engenheiro de dados senior

    2 semanas atrás

    Piracicaba, Brasil Netvagas Tempo inteiro

    Descrição: O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Desejável pós-graduação em áreas correlatas; Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e...

  • Engenheiro de Dados

    2 semanas atrás

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Software admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Executar verificações de qualidade de dados e garanta a integridade dos dados em diferentes plataformas. Monitorar e otimizar o desempenho de sistemas de dados e pipelines.. É oferecido contrato Home Office, A combinar.

  • Hd Engenheiro De Dados Senior

    2 semanas atrás

    Piracicaba, Brasil Netvagas Tempo inteiro

    Descrição: O que esperamos de vocêGraduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Desejável pós-graduação em áreas correlatas; Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência...

  • Engenheiro De Dados Senior

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Iblue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está em busca de um profissional experiente para se juntar a nós e ajudar a impulsionar a nossa missão de transformar a forma como as empresas lidam com dados. Nossa equipe é composta por profissionais apaixonados por tecnologia e inovação, e estamos procurando alguém que compartilhe essa...

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, Brasil Jobbol Tempo inteiro

    Empresa de Tecnologia da Informação admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Executar tarefas com competência, sob supervisão. Desenvolver e manter pipelines de dados de ponta a ponta usando soluções nativas da nuvem para extrair, carregar e transformar dados de diferentes fontes de dados.. É oferecido...

  • Engenheiro(a) de Manutenção Sênior

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente e motivado para atuar como Engenheiro(a) de Manutenção Sênior em nossa equipe de manutenção de equipamentos agrícolas. O candidato ideal terá experiência em mecânica de equipamentos móveis e mapeamento de processos, além de conhecimento em ferramentas de manutenção como FMEA,...

  • Engenheiro de Dados Senior

    2 meses atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está procurando por um profissional experiente para se juntar a nós!ResponsabilidadesProjetar e implementar arquiteturas Big Data em nuvem (preferencialmente Azure);Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e...

  • [hd] engenheiro de dados pleno

    2 semanas atrás

    Piracicaba, Brasil Netvagas Tempo inteiro

    Descrição: O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Experiência comprovada em projetos Big Data, Data Warehouse. Profundo conhecimento em Python, Airflow e Big Data & Data Lake. Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e...

  • [hd] engenheiro de dados pleno

    2 meses atrás

    PIRACICABA, Brasil iBlue Consulting Tempo inteiro

    O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Experiência comprovada em projetos Big Data, Data Warehouse. Profundo conhecimento em Python, Airflow e Big Data & Data Lake. Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a...

  • Analista de Dados Sênior

    4 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Desenvolva sua Carreira como Analista de Dados Sênior na RaízenA Raízen é uma empresa líder em bioenergia e a 3a maior empresa em faturamento do Brasil. Nossa missão é unir ação, inovação e sustentabilidade para gerar impacto positivo. Estamos procurando por um Analista de Dados Sênior que atue na modalidade híbrida (3x2) em Piracicaba -...

  • Engenheiro de Dados Pleno

    4 semanas atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno será responsável por projetar e implementar arquiteturas de dados em nuvem, definir estratégias para a organização e modelagem de dados no Data Lake, garantindo sua integridade, segurança e governança.Papéis e ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem;Definir estratégias...

  • Analista de Dados Sênior

    Há 3 dias

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    FunçãoBuscamos um Analista de Dados Sênior para Piracicaba - SP que atue na modalidade híbrido (3x2).Responsabilidades e AtribuiçõesAtualização dos indicadores / KPIs da gerência;Inovação e automação de dados;Participação ativa em projetos da gerência com soluções envolvendo dados e otimização logística;Aplicar o máximo de inteligência...