Engenheiro de Dados Senior

1 semana atrás

Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro
Descrição do Cargo

O engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Responsabilidades
  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança;
  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow, Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake;
  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI;
  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs;
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados;
  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML/AI em produção;
  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.
Requisitos
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Desejável pós-graduação em áreas correlatas;
  • Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar e implementar arquiteturas de armazenamento de dados eficientes para suportar análises Big Data;
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise;
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake;
  • Experiência com configuração de ambiente Airflow em Kubernetes AKS;
  • Habilidade para realizar tuning avançado de DAGs do Airflow;
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation;
  • Experiência com GitHub e Docker para construção de repositórios de DataOps;
  • Conhecimento em MLOps para apoiar os Cientistas de Dados;
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas;
  • Experiência com manipulação de grandes volumes de dados;
  • Experiência com criação de especificação técnica e funcional;
  • Compreensão de metodologias Agile;
  • Sólidos conhecimentos em modelagem, desenvolvimento e monitoramento de processos.

  • Engenheiro de Dados Senior

    Há 3 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente e motivado para o cargo de Engenheiro de Dados Senior. O candidato ideal terá experiência em projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory.ResponsabilidadesProjetar e implementar...

  • Engenheiro de Dados Senior

    Há 7 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias...

  • Engenheiro de Dados Senior

    Há 3 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está procurando por um profissional experiente para se juntar a nós!ResponsabilidadesProjetar e implementar arquiteturas Big Data em nuvem (preferencialmente Azure);Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e...

  • Engenheiro de Dados Pleno

    Há 3 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.Papéis e ResponsabilidadesArquitetura de Dados: Projetar e implementar arquiteturas Big Data em Nuvem...

  • Análise de Dados Sênior

    3 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente para atuar como Analista de Dados Sênior em nossa equipe de negócios. O candidato ideal terá habilidades avançadas em análise de dados e experiência em projetos de negócios.ResponsabilidadesAtualizar os indicadores e KPIs da gerência;Inovar e automatizar processos de...

  • Engenheiro de Dados Pleno

    Há 4 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);Definir...

  • Análise de Dados Sênior

    2 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente para atuar como Analista de Dados Sênior em nossa equipe de negócios. O candidato ideal terá habilidades avançadas em análise de dados e experiência em projetos de negócios.ResponsabilidadesAtualizar os indicadores e KPIs da gerência;Inovar e automatizar processos de...

  • Engenheiro de Dados Pleno

    1 semana atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Dados Pleno visa atender às necessidades de uma equipe de desenvolvimento de soluções de dados em uma empresa de consultoria de tecnologia. O candidato ideal deve ter experiência em projetos de Big Data, Data Warehouse e conhecimento em Python, Airflow e Big Data & Data Lake.ResponsabilidadesProjetar e...

  • Engenheiro(a) de Processos Sênior

    Há 3 dias

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Sobre a RaízenNossa empresa é uma referência global em bioenergia e a 3ª maior empresa em faturamento do Brasil. Somos a maior produtora de derivados da cana-de-açúcar, produzindo etanol, E2G, biogás, açúcar e bioenergia.Descrição do CargoBuscamos um Engenheiro(a) de Processos Sênior para atuar em nossa equipe de comissionamento de plantas. O...

  • Analista de dados especializado

    1 semana atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    O que você precisa terPara desempenhar com sucesso o papel de Analista de dados sênior na Raízen, é necessário ter:Ensino Superior Completo;Conhecimento avançado em automação de dados, com habilidades em ferramentas como Excel, Power BI, Python e SQL.Como será seu dia a diaComo Analista de dados sênior, você será responsável por:Atualizar os...

  • Analista de dados especializado

    Há 7 dias

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    O que você precisa terPara desempenhar com sucesso o papel de Analista de dados sênior na Raízen, é necessário ter:Ensino Superior Completo;Conhecimento avançado em automação de dados, com habilidades em ferramentas como Excel, Power BI, Python e SQL.Como será seu dia a diaComo Analista de dados sênior, você estará responsável por:Atualizar os...

  • Analista de dados especializado

    Há 4 dias

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    O que você precisa terPara desempenhar com sucesso o papel de Analista de dados sênior na Raízen, é necessário ter:Ensino superior completo;Conhecimento avançado em automação de dados, com habilidades em ferramentas como Excel, Power BI, Python e SQL.Como será seu dia a diaComo Analista de dados sênior, você será responsável por:Atualizar os...

  • Engenheiro de Manufatura

    1 semana atrás

    Piracicaba, São Paulo, Brasil Fábrica de Veículos Automotores Tempo inteiro

    Fábrica de Veículos AutomotoresBuscamos um profissional experiente para ocupar o cargo de Engenheiro de Manufatura em nossa unidade de produção em Piracicaba. O candidato ideal terá habilidades em otimização de processos, melhoria contínua e gestão de projetos.Responsabilidades:Desenvolver e implementar processos de produção eficientes;Realizar...

  • Engenheiro de Manufatura

    1 semana atrás

    Piracicaba, São Paulo, Brasil Fábrica de Veículos Automotores Tempo inteiro

    Fábrica de Veículos Automotores busca Engenheiro de Manufatura em PiracicabaDefinição das necessidades técnicas e investimentos necessários para processos de manufatura, tanto novos como existentes, é uma das responsabilidades do Engenheiro de Manufatura.Responsabilidades:Participar da definição do Design do Sistema de Manufatura aplicável aos...

  • Analista de dados especializado

    1 semana atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    O que você precisa terPara se candidatar a este cargo, é necessário ter:Ensino superior completo;Conhecimento avançado em automação de dados, com habilidades em ferramentas como Excel, Power BI, Python e SQL.Como será seu dia a diaComo Analista de dados sênior na Raízen, você terá a oportunidade de:Atualizar os indicadores e KPIs da...

  • Analista de Dados Geoespaciais Sênior

    3 semanas atrás

    Piracicaba, São Paulo, Brasil Flora Consultoria Tempo inteiro

    Descrição do CargoO Imaflora está procurando por um profissional experiente para atuar como Analista de Dados Geoespaciais Sênior, responsável por desenvolver análises e pesquisas em áreas relacionadas à agropecuária e aos recursos naturais.ResponsabilidadesRealizar estudos de análise aprofundados em áreas relacionadas à agropecuária e aos...

  • Engenheiro de Manufatura

    1 semana atrás

    Piracicaba, São Paulo, Brasil Fábrica de Veículos Automotores Tempo inteiro

    Fábrica de Veículos Automotores busca Engenheiro de ManufaturaDesenvolva suas habilidades em um ambiente dinâmico e desafiador. Nossa empresa está procurando por um profissional qualificado para ocupar o cargo de Engenheiro de Manufatura.Responsabilidades:Definir as necessidades técnicas e investimentos necessários para processos de manufatura, tanto...

  • Engenheiro de Qualidade

    1 semana atrás

    Piracicaba, São Paulo, Brasil Empresa de Recursos Humanos Tempo inteiro

    Empresa de Recursos Humanos busca Engenheiro de Qualidade em PiracicabaEstamos procurando por um profissional experiente e motivado para atuar como Engenheiro de Qualidade em nossa equipe em Piracicaba. O candidato ideal terá habilidades técnicas e habilidades de comunicação para trabalhar em equipe e garantir a qualidade dos nossos produtos e...

  • Engenheiro mecânico

    3 semanas atrás

    Piracicaba, São Paulo, Brasil Marhca Tempo inteiro

    Descrição do Cargo:O Engenheiro Mecânico da Marhca Consultoria em Recursos Humanos irá atuar com rotinas inerentes à função, garantindo a eficiência e a qualidade dos processos.Responsabilidades:Desenvolver e implementar rotinas para otimizar a produção e reduzir custos;Gerenciar projetos de desenvolvimento de processos e produtos;Realizar...

  • Engenheiro de Qualidade

    Há 4 dias

    Piracicaba, São Paulo, Brasil Empresa de Recursos Humanos Tempo inteiro

    Empresa de Recursos Humanos busca Engenheiro de Qualidade em PiracicabaEstamos procurando um profissional experiente e motivado para atuar como Engenheiro de Qualidade em nossa equipe em Piracicaba. O candidato ideal terá habilidades técnicas e habilidades de comunicação para trabalhar em equipe e garantir a qualidade dos nossos produtos e...