Desenvolvedor(a) Big Data | Spark
Há 2 horas
São Paulo, State of São Paulo, Brasil
Grupo Data
Tempo integral
Grátis com e-mail ou Google
Salve esta vaga e mantenha sua pesquisa organizada
Crie uma conta gratuita para salvar vagas, criar alertas e retornar a esta listagem a partir do seu painel.
Grátis com e-mail ou Google
Ao continuar, você concorda com nossos Termos & Política de Privacidade.
Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado .
É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.
Principais responsabilidades
Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
Implementar processos de ingestão, transformação, validação e publicação de dados;
Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
Planejar e orquestrar processos utilizando Control-M;
Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
Investigar e resolver incidentes em produção;
Colaborar com equipes internacionais em ambiente Agile.
Requisitos obrigatórios
Experiência em desenvolvimento Big Data, com atuação em Apache Spark e Scala;
Conhecimento de SQL e PL/SQL;
Experiência com pipelines de dados e Datalake;
Conhecimento de Control-M e Airflow;
Experiência com testes e suporte a ambientes produtivos;
Conhecimento de Databricks, Azure, AWS Compute e/ou YARN;
Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar;
Conhecimento de Power BI;
Conhecimento de ServiceNow e experiência em monitoramento de produção;
Conhecimentos de qualidade e rastreabilidade de dados;
Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting;
???