Desenvolvedor(a) Big Data | Spark

Há 2 horas

São Paulo, State of São Paulo, Brasil Grupo Data Tempo integral
Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado . É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha. Principais responsabilidades Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala; Implementar processos de ingestão, transformação, validação e publicação de dados; Trabalhar com SQL e PL/SQL no processamento e tratamento de dados; Planejar e orquestrar processos utilizando Control-M; Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark; Realizar testes unitários e integrados e apoiar testes de aceitação (UAT); Investigar e resolver incidentes em produção; Colaborar com equipes internacionais em ambiente Agile. Requisitos obrigatórios Experiência em desenvolvimento Big Data, com atuação em Apache Spark e Scala; Conhecimento de SQL e PL/SQL; Experiência com pipelines de dados e Datalake; Conhecimento de Control-M e Airflow; Experiência com testes e suporte a ambientes produtivos; Conhecimento de Databricks, Azure, AWS Compute e/ou YARN; Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar; Conhecimento de Power BI; Conhecimento de ServiceNow e experiência em monitoramento de produção; Conhecimentos de qualidade e rastreabilidade de dados; Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting; ???