AWS Data Engineer PySpark Redshift Iceberg Airflow

Há 2 dias
São Paulo, SP, Brasil Decision group Tempo integral

Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: 'Graduação em Sistemas de Informação, Ciência da Computação, Engenharia de Dados ou área relacionada; Inglês Avançado/Fluente - C2 (haverá contato com cliente internacional); Experiência comprovada com desenvolvimento AWS com foco em Glue, Spark e Redshift; Proficiência em linguagens de programação como Python ou Scala para processamento de dados; Forte entendimento dos conceitos e melhores práticas de data warehousing; Experiência com SQL e sistemas de gerenciamento de banco de dados é necessária. Principais responsabilidades: Projetar, desenvolver e implementar soluções de dados na AWS utilizando Glue, Spark e Redshift. Colaborar com engenheiros de dados e cientistas de dados para entender os requisitos de dados e traduzi-los em pipelines de dados escaláveis; Criar e gerenciar processos ETL usando AWS Glue para extrair, transformar e carregar dados de várias fontes; Otimizar fluxos de trabalho de processamento de dados no Apache Spark para garantir um manuseio e análise de dados eficientes; Desenvolver e manter modelos e esquemas de dados no Amazon Redshift para suportar relatórios e análises; Monitorar e solucionar problemas em pipelines de dados para garantir a qualidade e integridade dos dados; Documentar processos de dados, arquitetura e melhores práticas para compartilhamento de conhecimento e conformidade. ' Habilidades: Qualquer localidade - Hibrido ou Remoto


Formação Acadêmica:

Não informado


Salário:

A combinar


Cargo:

Engenheiro de Testes


Empresa:

Decision group


Atua com consultoria de mão de obra de serviços de tecnologia.


Ramo:

Recursos Humanos/ Recrutamento e seleção


(FC)

  • Arquiteto de dados especialista aws

    Há 4 dias

    sao paulo, sp, Brasil Grupo SysMap Tempo integral

    Requisitos / Experiência: Sólida experiência em engenharia de dados em ambientes de média e grande escala; Forte atuação em arquitetura de dados e desenho de soluções analíticas. Modelagem de Dados Analítica: Modelagem dimensional; Definição de tabelas fato e dimensão; Modelagem para Data Warehouse, Data Marts e ambientes Lakehouse. ...

  • Engenheiro de dados sênior

    Há 1 dia

    sao paulo, sp, Brasil Beyond Tempo integral

    Na Beyond Soluções, acreditamos que pessoas são o centro de toda grande transformação.Não enxergamos talentos como simples recursos, mas como profissionais reais, com histórias, ambições e potencial para ir além. Atuamos há mais de 8 anos no mercado, oferecendo Outsourcing 2.0, consultoria tech e squads de alta performance, com forte presença no...

  • Analytics engineer sênior

    Há 7 dias

    sao paulo, sp, Brasil Extractta Tempo integral

    Resumo da vaga: Buscamos um(a) Analytics Engineer Sênior , com sólida experiência em Google Cloud Platform (GCP) , para atuar no desenvolvimento, evolução e sustentação de soluções analíticas em ambientes de dados em nuvem. O profissional será responsável por projetar, desenvolver e otimizar pipelines de dados, garantindo qualidade,...

  • Analista de dados sênior

    Há 18 horas

    sao paulo, sp, Brasil FS Tempo integral

    Descrição da Vaga: A Inteligência de Mercado da FS apoia as decisões comerciais de etanol, milho e coprodutos. Buscamos uma referência técnica para liderar a arquitetura e a estratégia de dados da área, com autonomia para evoluir a infraestrutura em Databricks e permitir que o time escale suas análises. Responsabilidades Evoluir a arquitetura de...

  • Engenheiro(a) de dados databricks | pleno/sênior

    Há 6 dias

    sao paulo, sp, Brasil Sauter Tempo integral

    Buscamos Engenheiros(as) de Dados Plenos e Seniores para projetar, construir e otimizar pipelines e plataformas de dados na AWS com Databricks. Atuação em ingestão, transformação, governança e performance, entregando dados confiáveis para analytics, BI e machine learning. Principais responsabilidades Desenvolver e manter pipelines de dados (batch e...

  • Arquiteto de soluções de dados especialista

    Há 9 horas

    sao paulo, sp, Brasil Leega Consultoria Tempo integral

    Requisitos obrigatórios  Mínimo de 10 anos de experiência em dados, sendo pelo menos 4 anos em arquitetura de soluções de dados.  Experiência mínima de 3 anos com arquitetura no Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer, IAM).  Experiência sólida com ecossistema Big Data (Spark, Hive, Impala, HBase, Kafka), preferencialmente em...

  • Especialista de engenharia de dados sênior

    Há 6 dias

    sao paulo, sp, Brasil Leega Consultoria Tempo integral

    Requisitos obrigatórios  Mínimo de 8 anos de experiência em engenharia de dados, sendo pelo menos 3 anos como Tech Lead ou líder técnico.  Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado.  Experiência com ecossistema Hadoop (Hive, Impala, HDFS),...

Vagas similares em São Paulo

Cidades principais