Especialista De Engenharia De Dados Sênior

Há 6 horas

São Paulo, State of São Paulo, Brasil Hunt Rh Tempo integral
Buscamos um(a) Especialista de Engenharia de Dados Sênior para atuar de forma 100% presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte, na Av. Paulista, em São Paulo. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modelo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento. São 9 metros de migração em ondas mensais, seguidos de 3 meses de pós-implantação. Você vai atuar na fábrica de migração, convertendo e implantando cargas no Google Cloud, resolvendo os casos técnicos mais complexos e garantindo a qualidade do que vai para produção. Principais

responsabilidades:
Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud. Operar os aceleradores da fábrica de migração no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências. Garantir a comparação automática entre legado e destino e apoiar o reprocessamento de ondas quando necessário. Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente. Aplicar e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI). Esclarecer dúvidas de regra de negócio junto aos especialistas do cliente. Apoiar a estimativa e o planejamento das ondas de migração. Informações adicionais: Atuação 100% presencial em instituição financeira na Av. Paulista
- São Paulo. Contratação CLT.