AWS Data Engineer

Há 3 dias


Brasil Compass UOL Tempo inteiro
Overview

Descrição da vaga.

Responsabilidades
  • Criação de pipeline de dados para obtenção dos dados com airflow/spark;
  • Implementar controles de acesso e auditoria para proteger dados sensíveis e garantir conformidade com regulamentações;
  • Migrar e integrar dados existentes na nova plataforma, assegurando a continuidade das operações e a integridade dos dados;
  • Performance Tuning: Habilidade em otimizar o desempenho de pipelines de dados, ajustando parâmetros e configurando corretamente os recursos;
  • Monitoramento e Debugging: Capacidade de monitorar e depurar pipelines para identificar e resolver gargalos e problemas de desempenho.
Requisitos
  • Proficiência em SQL;
  • Entendimento de modelagem de dados;
  • Experiência com ETL;
  • Experiência com cloud AWS: Glue, S3, EMR, Lake Formation.
  • Apache Spark, Apache AirFlow, Apache Iceberg;
  • Conhecimento em Python.

Não possui todos os requisitos para a vaga?

Está tudo bem Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Benefícios

#remote

"remote"


#J-18808-Ljbffr
  • Data Engineer Com Aws

    2 semanas atrás


    Brasil ASSURANCE IT Tempo inteiro

    A Assurance contrata: *Data Engineer - Pleno/Sênior* Python+AWS, Dados, SQL Funding AWS - Migração de SAS Proficiência em programação Python, com extensa experiência em bibliotecas de manipulação de dados como Pandas e NumPy. Conhecimento aprofundado dos serviços AWS, particularmente no Amazon Glue e PySpark, com prova de experiência na...


  • Brasil Avenue Code Tempo inteiro

    We are looking for a Senior Data Engineer to design and maintain scalable data pipelines on AWS, ensuring performance, quality, and security. You will collaborate with data scientists and analysts to integrate data from multiple sources and support AI/ML initiatives.Key Responsibilities:Build and optimize ETL pipelines with AWS Glue.Work with AWS S3, Glue,...

  • Data Engineer

    1 dia atrás


    Brasil Insight Global Tempo inteiro

    100% Remote Data Engineer 1 year contract to start, high possibility of extensionsHiring this week - must be able to start a new opportunity in 2 weeksMust-Haves:3+ Years of Data Engineering experienceAdvanced proficiency in SQL, with extensive experience writing complex queries.Intermediate level experience within Linux & Python.Linux User level...

  • Data Engineer

    Há 3 dias


    Brasil Insight Global Tempo inteiro

    100% Remote Data Engineer 1 year contract to start, high possibility of extensions Hiring this week - must be able to start a new opportunity in 2 weeks Must-Haves: 3+ Years of Data Engineering experience Advanced proficiency in SQL, with extensive experience writing complex queries. Intermediate level experience within Linux & Python. Linux User...

  • AWS Data Engineer

    1 semana atrás


    Brasil Compasso UOL Tempo inteiro

    Job description.Main responsibilitiesDesenvolver e otimizar pipelines de dados em ambientes cloud (especialmente AWS);Escrever e otimizar queries SQL em larga escala (com foco em performance e escalabilidade);Realizar extração, transformação e carga (ETL/ELT) de dados a partir de múltiplas fontes;Participar da modelagem de dados para Data Lakes e Data...


  • Brasil beBeeDataEngineering Tempo inteiro US$80.000 - US$120.000

    Senior Data Engineer - Azure RemoteThis role involves designing, developing, and maintaining large-scale data processing systems using Azure Data Factory.RequirementsBachelor's degree in Computer Science or related field.Minimum 5 years of experience with data engineering, including Azure Data Factory and Databricks.Excellent knowledge of SQL for data...

  • Data Engineer

    Há 3 dias


    Brasil Insight Global Tempo inteiro

    This is a fully remote position. CLT model with salary range 16k-20k real/mo. Required Skills & Experience 3+ Years of Data Engineering experience Advanced proficiency in SQL, with extensive experience writing complex queries. Intermediate level experience within Linux & Python. Linux User level experience developing, transferring, and modifying files. ...

  • Lead Data Engineer

    4 semanas atrás


    Brasil Meta Tempo inteiro

    What are we looking for?About the RoleWe are seeking an experienced Lead Data Engineer to design, develop, and lead the delivery of enterprise-grade data integration and analytics solutions. The ideal candidate will bring deep expertise in Oracle Data Integrator (ODI), a strong understanding of data warehousing concepts, and hands-on experience with AWS...

  • Chief Data Engineer

    2 semanas atrás


    Brasil beBeeDataEngineer Tempo inteiro R$90.000 - R$150.000

    We are looking for an experienced data engineer to join our team in Brasil.Job Description:The ideal candidate will design, develop and maintain efficient data pipelines to ingest threat intelligence data from various sources into our data ecosystem.They will implement data validation processes to ensure accuracy, completeness and consistency of the data.The...


  • Brasil beBeeEngenheiro Tempo inteiro R$900.000 - R$1.200.000

    Vaga de Data Engineer Sênior Somos uma equipe de profissionais em constante evolução, comprometidos com a inovação e o desenvolvimento de soluções que impactem positivamente o mercado de saúde. Estamos procurando por um profissional experiente para desempenhar o papel de Data Engineer Sênior.Aqui você terá a oportunidade de trabalhar em projetos...