Spark Data Engineer
1 dia atrás
- Conduzir a migração de rotinas SAS legadas para o novo ecossistema Data Mesh, com foco em modernização, padronização e governança de dados;
- Compreender a malha batch existente via Control-M, analisando dependências, componentes SAS e estruturas de dados envolvidas;
- Realizar a transpilação dos códigos SAS para Spark, utilizando AWS Glue e garantindo aderência aos padrões técnicos do Mesh;
- Criar e configurar ambientes de origem e destino (buckets S3, schemas, conexões), assegurando o fluxo completo dos dados na AWS;
- Desenvolver Glue Jobs robustos, parametrizados e com testes unitários, promovendo estabilidade e escalabilidade nas entregas;
- Executar processos em produção, documentar fluxos e apoiar o repasse para sustentação;
- Trabalhar de forma colaborativa em ambiente ágil, promovendo boas práticas de engenharia e integração contínua.
- Sólido conhecimento em Python e Spark, com foco em desenvolvimento de pipelines de dados;
- Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena;
- Familiaridade com orquestração de tarefas com Control-M;
- Experiência com versionamento (Git/GitHub) e ambiente Linux;
- Conhecimento de Terraform para infraestrutura como código (IaC);
- Capacidade analítica para entendimento de código legado e adaptação aos novos padrões do Data Mesh;
- Desejável: experiência com testes automatizados e boas práticas de engenharia de dados.
Não possui todos os requisitos para a vaga?
Está tudo bem Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.
Additional information#remote
"remote"
#J-18808-Ljbffr-
Data Engineering and Automation Expert
Há 6 dias
São José dos Pinhais, Paraná, Brasil beBeeData Tempo inteiro R$900.000 - R$1.200.000Job Title: Data Engineering and Automation ExpertOur organization seeks a skilled data engineer to spearhead data pipeline development, automation processes, and cloud environment management.
-
Chief Data Architect
1 semana atrás
São José dos Pinhais, Paraná, Brasil beBeeDataEngineer Tempo inteiro R$90.000 - R$120.000We're seeking a skilled Data Engineer with expertise in automating data pipelines and optimizing cloud environments. This role offers the opportunity to develop high-impact projects, work collaboratively with a talented team, and contribute to shaping our data offerings.The ideal candidate will possess advanced knowledge of ETL/ELT tools, proficiency in...
-
Chief Data Engineer
1 dia atrás
São José dos Pinhais, Paraná, Brasil beBeeSenior Tempo inteiro R$900.000 - R$1.300.000We are seeking an experienced Senior Cloud Database Administrator to manage our mission-critical databases in a fast-paced microservices ecosystem. The ideal candidate will have deep expertise managing MySQL database environments in production and a strong background in SQL performance tuning, indexing strategies, and query optimization.Key...
-
Desenvolvedor de Dados
1 dia atrás
São José dos Pinhais, Paraná, Brasil beBeeDADOS Tempo inteiro R$60.000 - R$90.000Desenvolvedor de Dados para Data Mesh">Estamos procurando por um profissional habilidoso para trabalhar em nosso ecossistema de dados, conduzindo a migração de rotinas SAS legadas para o novo modelo de dados. O candidato selecionado será responsável por compreender a malha batch existente, analisar dependências e componentes SAS, e realizar a...
-
Senior Full-stack Engineer
1 dia atrás
São José dos Pinhais, Paraná, Brasil Truelogic Software Tempo inteiroOverview Senior Full-stack Engineer (FE-oriented) (LLM) - Health Care - (Brazil/Remote) at Truelogic Software. This role focuses on front-end and back-end development for web and mobile apps using React and React Native, with opportunities to work across the tech stack in a dynamic healthcare AI environment. Responsibilities Code daily to tackle challenges...
-
High-Performance Machine Learning Strategist
1 dia atrás
São José dos Pinhais, Paraná, Brasil beBeeMachineLearning Tempo inteiro US$80.000 - US$150.000Senior Machine Learning EngineerWe're seeking a seasoned Senior Machine Learning Engineer to join our team and drive innovation in personalization and optimization.Develop and deploy machine learning models that serve millions of predictions dailyDesign and implement ranking algorithms that balance relevance, diversity, and revenueImplement real-time...
-
Engenheiro De Dados Sr
Há 6 dias
São José dos Pinhais, Paraná, Brasil Positivo S+ Tempo inteiroEngenheiro(a) de Dados Sênior | GCP | Bilingue | Projeto HORSE – Grupo RenaultLocal: São José dos Pinhais – PR (regime híbrido com flexibilidade)Empresa: Positivo S+ em parceria com Renault & HorseHorário: Segunda a sexta, das 8h às 17hO DesafioVocê será o(a) liderança na construção da área de dados da Horse, uma fábrica de motores...
-
Senior Backend Engineer
2 semanas atrás
São José dos Pinhais, Paraná, Brasil Rain Tempo inteiro3 days ago Be among the first 25 applicants Rain is the fastest-growing earned wage access (EWA) fintech in the U.S. , serving 2.5 million employees and backed by top investors like QED and Prosus . We've raised nearly $400M in funding—including the largest Series A in fintech history —and just closed our Series B to fuel our next stage of hypergrowth ....
-
Engenheiro de Dados e Automação PL
3 semanas atrás
São José dos Pinhais, Paraná, Brasil Solo Network Tempo inteiroJoin to apply for the Engenheiro de Dados e Automação PL role at Solo Network Location : Remote or Hybrid (Solo Network offices) Contract Model : Cooperado Area : Sustentação About the Role Work in the Technology area, responsible for developing, maintaining, and optimizing data pipelines, automating processes, and supporting financial governance...
-
engenheiro de dados sr
Há 6 dias
São José dos Pinhais, Paraná, Brasil Positivo S+ Tempo inteiro R$70.000 - R$120.000 por anoEngenheiro(a) de Dados Sênior | GCP | Bilingue | Projeto HORSE – Grupo RenaultLocal: São José dos Pinhais – PR (regime híbrido com flexibilidade)Empresa: Positivo S+ em parceria com Renault & HorseHorário: Segunda a sexta, das 8h às 17hO DesafioVocê será o(a) liderança na construção da área de dados da Horse, uma fábrica de motores...
