[hd] engenheiro de dados senior

4 meses atrás

Piracicaba, Brasil Netvagas Tempo inteiro
O que esperamos de você
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Desejável pós-graduação em áreas correlatas;
  • Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar e implementar arquiteturas de armazenamento de dados eficientes para suportar análises Big Data;
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise;
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake;
  • Experiência com configuração de ambiente Airflow em Kubernetes AKS;
  • Habilidade para realizar tuning avançado de DAGs do Airflow;
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation;
  • Experiência com GitHub e Docker para construção de repositórios de DataOps;
  • Conhecimento em MLOps para apoiar os Cientistas de Dados;
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas;
  • Experiência com manipulação de grandes volumes de dados;
  • Experiência com criação de especificação técnica e funcional;
  • Compreensão de metodologias Agile;
  • Sólidos conhecimentos em modelagem, desenvolvimento e monitoramento de processos.
Como será o seu dia a dia

Papéis e Responsabilidades:


Arquitetura de Dados:

  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure).
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança.

Desenvolvimento de Pipelines de Dados:

  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow, Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Integração com Machine Learning / Artificial Intelligence:

  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI .

Configuração e Tuning do Airflow em Kubernetes (Azure ou AWS):

  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs.
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados.

Práticas de DevOps e MLOps:

  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML / AI em produção.

Colaboração e Comunicação:

  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.

  • Engenheiro de Dados Senior

    Há 2 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente e motivado para o cargo de Engenheiro de Dados Senior. O candidato ideal terá experiência em projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory.ResponsabilidadesProjetar e implementar...

  • Engenheiro de Dados Senior

    Há 7 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias...

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, Brasil Empresa de tecnologia Tempo inteiro

    Empresa de tecnologia admite Engenheiro de Dados em Piracicaba. Projetar, criar e manter as entregas em DataBricks – Azure para dados e análises que envolve as ferramentas de dados. Desenvolver pipelines de dados e processos ETL usando serviços de análise e dados e linguagens de programação como Python. Colaborar com analistas para compreender suas...

  • Engenheiro de Dados

    2 semanas atrás

    Piracicaba, Brasil Empresa de Tecnologia da Informação e Serviços Tempo inteiro

    Empresa de Tecnologia da Informação e Serviços admite Engenheiro de Dados em Piracicaba. Desenvolver soluções com grandes volumes de dados.Garantir políticas de segurança para acesso aos dados.

  • Engenheiro de Dados

    1 semana atrás

    piracicaba, Brasil Empresa de Tecnologia da Informação e Serviços Tempo inteiro

    Empresa de Tecnologia da Informação e Serviços admite Engenheiro de Dados em Piracicaba.

  • Engenheiro de Dados

    1 semana atrás

    Piracicaba, Brasil Empresa de Tecnologia da Informação e Serviços Tempo inteiro

    Empresa de Tecnologia da Informação e Serviços admite Engenheiro de Dados em Piracicaba.

  • Engenheiro de Dados

    4 semanas atrás

    Piracicaba, Brasil Empresa de tecnologia Tempo inteiro

    Empresa de tecnologia admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, Horário flexível.. Projetar, criar e manter as entregas em DataBricks – Azure para dados e análises que envolve as ferramentas de dados. Desenvolver pipelines de dados e processos ETL usando serviços de análise e dados e linguagens de programação como...

  • Engenheiro de Dados

    2 semanas atrás

    Piracicaba, Brasil Empresa de Tecnologia da Informação e Serviços Tempo inteiro

    Empresa de Tecnologia da Informação e Serviços admite Engenheiro de Dados em Piracicaba para atuar em Tempo integral, A combinar.. Desenvolver soluções com grandes volumes de dados. Garantir políticas de segurança para acesso aos dados.. É oferecido contrato Home Office, A combinar.

  • Engenheiro de Dados Senior

    1 semana atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados senior será responsável por projetar e implementar arquiteturas de dados escaláveis e tolerantes a falhas em nuvem, utilizando ferramentas como Apache Spark, Airflow e Azure Data Factory. Além disso, será responsável por realizar processos de ingestão, limpeza, transformação e carga de dados de várias...

  • [hd] engenheiro de dados senior

    1 semana atrás

    PIRACICABA, Brasil iBlue Consulting Tempo inteiro

    O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Desejável pós-graduação em áreas correlatas; Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar...

  • Engenheiro de Dados Senior

    Há 3 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO nosso time de Engenheiros de Dados está procurando por um profissional experiente para se juntar a nós!ResponsabilidadesProjetar e implementar arquiteturas Big Data em nuvem (preferencialmente Azure);Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e...

  • [hd] engenheiro de dados pleno

    1 semana atrás

    PIRACICABA, Brasil iBlue Consulting Tempo inteiro

    O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas; Experiência comprovada em projetos Big Data, Data Warehouse. Profundo conhecimento em Python, Airflow e Big Data & Data Lake. Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a...

  • Engenheiro de Plataforma

    4 semanas atrás

    Piracicaba, Brasil Empresa de Desenvolvimento de Software Tempo inteiro

    Empresa de Desenvolvimento de Software admite Engenheiro de Plataforma em Piracicaba. Esta é uma função remota em tempo integral para um Engenheiro de Plataforma Júnior na Shuffle Up. Como Engenheiro de Plataforma Júnior, você será responsável por solução de problemas, desenvolvimento de software, gerenciamento de infraestrutura, programação e...

  • [hd] engenheiro de dados pleno

    4 meses atrás

    Piracicaba, Brasil Netvagas Tempo inteiro

    O que esperamos de você Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;Experiência comprovada em projetos Big Data, Data Warehouse.Profundo conhecimento em Python, Airflow e Big Data & Data Lake.Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a...

  • Engenheiro de Plataforma

    4 semanas atrás

    Piracicaba, Brasil Empresa de Desenvolvimento de Software Tempo inteiro

    Empresa de Desenvolvimento de Software admite Engenheiro de Plataforma em Piracicaba para atuar em Tempo integral, A combinar.. Esta é uma função remota em tempo integral para um Engenheiro de Plataforma Júnior na Shuffle Up. Como Engenheiro de Plataforma Júnior, você será responsável por solução de problemas, desenvolvimento de software,...

  • Engenheiro de Dados Pleno

    Há 2 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.Papéis e ResponsabilidadesArquitetura de Dados: Projetar e implementar arquiteturas Big Data em Nuvem...

  • Análise de Dados Sênior

    3 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente para atuar como Analista de Dados Sênior em nossa equipe de negócios. O candidato ideal terá habilidades avançadas em análise de dados e experiência em projetos de negócios.ResponsabilidadesAtualizar os indicadores e KPIs da gerência;Inovar e automatizar processos de...

  • Engenheiro de Dados Pleno

    Há 3 dias

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO engenheiro de dados pleno é responsável por projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise.ResponsabilidadesProjetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure);Definir...

  • Análise de Dados Sênior

    2 semanas atrás

    Piracicaba, São Paulo, Brasil Raízen Tempo inteiro

    Descrição do CargoEstamos procurando por um profissional experiente para atuar como Analista de Dados Sênior em nossa equipe de negócios. O candidato ideal terá habilidades avançadas em análise de dados e experiência em projetos de negócios.ResponsabilidadesAtualizar os indicadores e KPIs da gerência;Inovar e automatizar processos de...

  • Engenheiro de Dados Pleno

    1 semana atrás

    Piracicaba, São Paulo, Brasil iBlue Consulting Tempo inteiro

    Descrição do CargoO cargo de Engenheiro de Dados Pleno visa atender às necessidades de uma equipe de desenvolvimento de soluções de dados em uma empresa de consultoria de tecnologia. O candidato ideal deve ter experiência em projetos de Big Data, Data Warehouse e conhecimento em Python, Airflow e Big Data & Data Lake.ResponsabilidadesProjetar e...