Engenheiro de Dados Senior

Há 7 dias


Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro
Descrição do Cargo

O engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será necessário realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Responsabilidades
  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança;
  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake;
  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI;
  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs;
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados;
  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML/AI em produção;
  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.
Requisitos
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Desejável pós-graduação em áreas correlatas;
  • Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar e implementar arquiteturas de armazenamento de dados eficientes para suportar análises Big Data;
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise;
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake;
  • Experiência com configuração de ambiente Airflow em Kubernetes AKS;
  • Habilidade para realizar tuning avançado de DAGs do Airflow;
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation;
  • Experiência com GitHub e Docker para construção de repositórios de DataOps;
  • Conhecimento em MLOps para apoiar os Cientistas de Dados;
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas;
  • Experiência com manipulação de grandes volumes de dados;
  • Experiência com criação de especificação técnica e funcional;
  • Compreensão de metodologias Agile;
  • Sólidos conhecimentos em modelagem, desenvolvimento e monitoramento de processos.

  • Engenheiro de Dados Senior

    3 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente e motivado para o cargo de Engenheiro de Dados Senior. O candidato ideal terá experiência em projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory.ResponsabilidadesProjetar e implementar...

  • Engenheiro de Dados Senior

    3 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias...

  • Engenheiro de Dados

    Há 4 dias


    Piracicaba, São Paulo, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Descrição do CargoEmpresa de Atividades de Tecnologia da Informação busca Engenheiro de Dados em Piracicaba para criar dashboards significativos e garantir que problemas sejam capturados e tratados de forma proativa.ResponsabilidadesCriar dashboards para visualização de dados;Desenvolver soluções para registro de logs e alertas;Garantir que problemas...

  • Engenheiro de Dados Senior

    4 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias...

  • Engenheiro de Dados

    1 semana atrás


    Piracicaba, São Paulo, Brasil Empresa de Atividades de Tecnologia da Informação Tempo inteiro

    Empresa de Atividades de Tecnologia da InformaçãoEstamos procurando por um Engenheiro de Dados para reforçar nossa equipe em Piracicaba.Responsabilidades:Desenvolver e implementar soluções de análise de dados para melhorar a tomada de decisões da empresa;Trabalhar com times de desenvolvimento para integrar soluções de análise de dados em nossos...


  • Piracicaba, São Paulo, Brasil Iblue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está em busca de um profissional experiente para se juntar a nós e ajudar a impulsionar a nossa missão de transformar a forma como as empresas lidam com dados. Nossa equipe é composta por profissionais apaixonados por tecnologia e inovação, e estamos procurando alguém que compartilhe essa...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente e motivado para atuar como Engenheiro(a) de Manutenção Sênior em nossa equipe de manutenção de equipamentos agrícolas. O candidato ideal terá experiência em mecânica de equipamentos móveis e mapeamento de processos, além de conhecimento em ferramentas de manutenção como FMEA,...

  • Engenheiro de Dados Senior

    3 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está procurando por um profissional experiente para se juntar a nós!ResponsabilidadesProjetar e implementar arquiteturas Big Data em nuvem (preferencialmente Azure);Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Desenvolva sua Carreira como Analista de Dados Sênior na RaízenA Raízen é uma empresa líder em bioenergia e a 3a maior empresa em faturamento do Brasil. Nossa missão é unir ação, inovação e sustentabilidade para gerar impacto positivo. Estamos procurando por um Analista de Dados Sênior que atue na modalidade híbrida (3x2) em Piracicaba -...

  • Engenheiro de Dados Pleno

    3 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.Papéis e ResponsabilidadesArquitetura de Dados: Projetar e implementar arquiteturas Big Data em Nuvem...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Manutenção Sênior visa garantir a entrega de equipamentos em conformidade com os requisitos de segurança, meio ambiente e operacionais. O candidato ideal deve ter experiência prévia com a mecânica de equipamentos móveis e mapeamento de processos.ResponsabilidadesGarantir a entrega de equipamentos em...

  • Engenheiro de Dados Pleno

    3 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);Definir...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente para atuar como Analista de Dados Sênior em nossa equipe de negócios. O candidato ideal terá habilidades avançadas em análise de dados e experiência em projetos de negócios.ResponsabilidadesAtualizar os indicadores e KPIs da gerência;Inovar e automatizar processos de...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Processos Sênior visa atender às necessidades de uma equipe de comissionamento de plantas industriais. O candidato ideal deve ter experiência em processos produtivos na área industrial e conhecimento em ferramentas estatísticas, como Python.ResponsabilidadesAnalisar tecnicamente o ramp up das plantas...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoBuscamos um profissional experiente para atuar como Engenheiro(a) de Inspeção Sênior em nossa equipe de manutenção e inspeção. O candidato ideal terá experiência em inspeção e manutenção de equipamentos estáticos, com conhecimento em normas de inspeção e projetos de equipamentos estáticos.ResponsabilidadesAtender aos...

  • Engenheiro de Dados Pleno

    4 semanas atrás


    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Dados Pleno visa atender às necessidades de uma equipe de desenvolvimento de soluções de dados em uma empresa de consultoria de tecnologia. O candidato ideal deve ter experiência em projetos de Big Data, Data Warehouse e conhecimento em Python, Airflow e Big Data & Data Lake.ResponsabilidadesProjetar e...

  • Analista de Dados Sênior

    2 semanas atrás


    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Sobre a RaízenNossa empresa é uma referência global em bioenergia e a 3a maior empresa em faturamento do Brasil. Somos líderes na produção de derivados da cana-de-açúcar, incluindo etanol, E2G, biogás, açúcar e bioenergia. Além disso, atuamos na produção e distribuição de energia, além da distribuição de combustíveis por meio dos postos...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Sobre a RaízenNossa empresa é uma referência global em bioenergia e a 3ª maior empresa em faturamento do Brasil. Somos a maior produtora de derivados da cana-de-açúcar, produzindo etanol, E2G, biogás, açúcar e bioenergia.Descrição do CargoBuscamos um Engenheiro(a) de Processos Sênior para atuar em nossa equipe de comissionamento de plantas. O...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Sobre a RaízenNossa empresa é uma referência global em bioenergia e a 3a maior empresa em faturamento do Brasil. Somos a maior produtora de derivados da cana-de-açúcar, produzindo etanol, E2G, biogás, açúcar e bioenergia. Nossa atuação também inclui a produção e distribuição de energia, além da distribuição de combustíveis por meio dos...


  • Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoNossa empresa, Raízen, busca um profissional de alta qualidade para atuar como Analista de Dados Sênior em nossa equipe de negócios. Neste papel, você terá a oportunidade de trabalhar em projetos desafiadores e contribuir para o sucesso da nossa empresa.ResponsabilidadesAtualizar e melhorar os indicadores e KPIs da gerência;Inovar e...