Hadoop Engineer

Resumo da Função:

Na ExxonMobil, nossa visão é liderar em inovações energéticas que promovam a vida moderna e um futuro líquido zero. Como uma das maiores empresas de energia e química de capital aberto do mundo, somos impulsionados por uma força de trabalho única e diversificada, movida pelo orgulho do que fazemos e do que defendemos. O sucesso de nossos negócios Upstream, downstream, midstream, Soluções de Produtos e Soluções de Baixo Carbono é o resultado do talento, curiosidade e motivação de nossos funcionários. Eles trazem soluções todos os dias para otimizar nossa estratégia em energia, produtos químicos, lubrificantes e tecnologias de baixa emissão.

Com isso, junte-se à equipe para resolver alguns dos problemas de energia mais difíceis em termos de enorme escala e complexidade de análises de big data na ExxonMobil.

Desenvolver e dar suporte a pipelines de dados/feeds ETL/aplicativos, como leitura de dados de fontes externas, mesclagem de dados, transformação de dados, execução de enriquecimento de dados e carregamento em destinos de dados alvo, permitindo casos de uso de análise.

Trabalhar com projetos e equipes técnicas para fornecer suporte técnico e experiência em desenvolvimento para pipeline de dados geral, fluxos de trabalho Hadoop Spark, soluções de big data e implementar modelos de dados em um portfólio diversificado.

Principais funções do trabalho:

• Projetar, desenvolver e manter pipelines de processamento de dados escaláveis usando Hadoop e Spark.
• Implementar integração de dados e processos ETL para ingerir e transformar grandes conjuntos de dados.
• Colaborar com cientistas de dados, analistas, parceiros de negócios e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
• Otimizar e ajustar trabalhos Hadoop e Spark para desempenho e eficiência.
• Gerenciar e manter soluções de armazenamento de dados, garantindo integridade e segurança dos dados.
• Utilizar o GitHub para controle de versão e colaboração no desenvolvimento de código.
• Trabalhar com CDP (Cloudera Data Platform) para gerenciar e implantar aplicativos de dados.
• Integrar e gerenciar soluções de dados no Cloud Azure e Snowflake, garantindo fluxo de dados e acessibilidade contínuos.
• Monitorar e solucionar problemas de fluxos de trabalho de processamento de dados, resolvendo problemas prontamente.
• Manter-se atualizado com as últimas tendências e tecnologias do setor em big data e computação em nuvem.
• Explorar e desenvolver habilidades em tecnologias mais recentes de acordo com o roteiro de tecnologia de big data.
• Integrar e gerenciar soluções de dados no Cloud Azure e na infraestrutura local, garantindo fluxo de dados e acessibilidade ininterruptos.

Requisitos da vaga:

• Graduação mínima de bacharelado em Ciência da Computação ou equivalente em universidade reconhecida; GPA mínimo - 6,5 (de 10,0).
• 5 a 8 anos de experiência geral em TI, com pelo menos 3 anos de experiência trabalhando com Hadoop

. Habilidades técnicas:

• Tecnologias de Big Data: Experiência comprovada com Apache Spark e o ecossistema Hadoop.
• Linguagens de programação: Fortes habilidades de codificação e programação em Scala, Java e/ou Python.
• Experiência aplicada com Hive, Iceberg e Hbase.
• Experiência aplicada com Solr.
• Experiência com Apache Kafka e Spark Streaming ou Apache Flink.
• Experiência com Oozie e bom ter airflow.

• Familiaridade com Azure DevOps (bom ter, mas não obrigatório).
•

Familiaridade com SQL (bom ter).
•

Familiaridade com Git/GitHub.

• Experiência em sistemas UNIX ou semelhantes a UNIX.
• Experiência com SCRUM ou outra estrutura Agile semelhante.

Habilidades secundárias:

• Bom ter conhecimento de NIFI.
• Bom ter experiência em nuvem como Azure e AWS.
• Familiaridade com GitHub e GitHub Action.
• Experiência com SCRUM ou outra estrutura Agile semelhante
• Autodidata e colaborador individual.
• Fortes habilidades de resolução de problemas.
• Capaz de criar documentação técnica para os casos de uso.
• Bom ter habilidades de modelagem de dados.
• Bom ter conhecimento do domínio de energia (petróleo e gás).

Habilidades interpessoais

• Boas habilidades de comunicação verbal e escrita.
• Autoiniciador e trabalhador independente.
• Fortes habilidades analíticas e de resolução de problemas.
• Capacidade de trabalhar com parceiros de negócios e partes interessadas e desenvolver fluxos de trabalho contínuos.
• Capacidade de interagir com clientes, parceiros de tecnologia, grupos de teste, arquitetura e análise