Engenheiro de big data sênior

QUALIFICAÇÕES E REQUISITOS: FORMAÇÃO: Diploma em Ciência da Computação, Engenharia da Computação, Sistemas de Informação ou campos relacionados. EXPERIÊNCIA PRÁTICA: Mínimo de 5 anos em funções relacionadas à big data, com ênfase em infraestrutura e serviços; Experiência comprovada no desenho, implementação, operação e otimização de soluções de big data escaláveis; Histórico de projetos bem-sucedidos em ambientes complexos e de alta disponibilidade. HABILIDADE TÉCNICAS: Profundo conhecimento e experiência prática com tecnologias de big data, como, Spark, ElasticSearch, Kubernetes, Hadoop, entre outras soluções para Big Data; Experiência com Linux, Shell Script e configuração de serviços Linux; Experiência com bancos de dados NoSQL, como Cassandra, InfluxDB ou Neo4j; Experiência com ferramentas de Infraestrutura como Código (IoC), como Ansible e Terraform; Experiência com orquestração de workflows de dados, como Apache Airflow ou Luigi; Conhecimento em sistemas de armazenamento distribuído, como MinIO e HDFS; Conhecimento sobre técnicas e ferramentas de otimização de performance para big data; Habilidade em linguagens de programação Python, Java ou Scala; Familiaridade com estruturas e operacionalização de data center on-premise; Familiaridade com as melhores práticas de arquitetura de software.

Habilidade interpessoais

Capacidade de comunicação, tanto para explicar complexidades técnicas para stakeholders não técnicos quanto para colaborar eficazmente com a equipe; Capacidade de liderança e mentoria para desenvolver membros mais jovens da equipe; Habilidades analíticas aguçadas e abordagem orientada a problemas. OUTRAS QUALIFICAÇÕES: Conhecimento em práticas de segurança voltadas para big data e conformidade regulamentar; Experiência com contêineres e orquestração; Inglês intermediário, especialmente para leitura e escrita técnica; Disposição para se manter atualizado em uma área de tecnologia em rápida evolução. DIFERENCIAIS (não obrigatórios, mas desejáveis): Certificações profissionais em big data ou tecnologias relacionadas; Pós-graduação em campos relacionados com a vaga; Conhecimentos de ambiente HPC; Conhecimentos de integração de dados e interoperabilidade; Experiência anterior em setores relacionados à saúde ou pesquisa; Experiências com orquestradores e ferramentas para trabalho com Kubernetes, como Kubesphere, Kubeflow, Rancher e outras; Conhecimento sobre padrões e regulamentos de saúde, como Lei Geral de Proteção de Dados (LGPD), GDPR e HIPAA; Conhecimentos técnicos sobre Segurança da Informação e Privacidade (Privacy by Design); Familiaridade com soluções de Cloud Computing, como AWS, Google Cloud ou Azure, e seus respectivos serviços voltados para big data; Familiaridade com práticas de DevOps e CI/CD. RESPONSABILIDADES E ATRIBUIÇÕES: Formação e Liderança: Como um profissional sênior, espera-se que esse indivíduo atue como mentor para membros mais jovens da equipe, transmitindo conhecimento e orientação técnica.

Desenho e Implementação de Soluções de Big Data: Projetar, construir e implementar soluções de big data para atender às necessidades de armazenamento, processamento e análise de grandes volumes de dados. Manutenção da Infraestrutura: Garantir que os sistemas de big data estejam sempre operacionais, otimizados e com bom desempenho. Otimização de Performance: Monitorar e otimizar a performance dos sistemas de big data, garantindo processamento rápido e eficiente dos dados. Segurança dos Dados: Implementar e manter padrões e protocolos de segurança para proteger os dados e garantir a privacidade e conformidade, especialmente em contextos regulamentados.

Colaboração Interdisciplinar: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender suas necessidades e traduzi-las em soluções técnicas. Escalabilidade: Projetar soluções que possam crescer em escala, lidando com volumes cada vez maiores de dados, sem comprometer a performance. Implementação de Ferramentas de Big Data: Trabalhar com uma variedade de tecnologias de big data para implementar soluções adequadas às necessidades. Gestão de Pipeline de Dados: Criar e gerenciar pipelines de dados completos, desde a ingestão até o armazenamento, processamento e análise.

Automatização: Implementar soluções automatizadas para tarefas recorrentes, garantindo eficiência e redução de erros manuais. Avaliação de Novas Tecnologias: Manter-se atualizado com as últimas tecnologias e tendências em big data, avaliando e recomendando novas ferramentas e abordagens que podem beneficiar a organização. Documentação: Criar documentação técnica robusta para soluções implementadas, garantindo que outros engenheiros e partes interessadas compreendam as soluções e possam trabalhar com elas no futuro.