Engenheiro De Big Data Sênior

QUALIFICAÇÕES E REQUISITOS:FORMAÇÃO:Diploma em Ciência da Computação, Engenharia da Computação, Sistemas de Informação ou campos relacionados.EXPERIÊNCIA PRÁTICA:Mínimo de 5 anos em funções relacionadas à big data, com ênfase em infraestrutura e serviços;Experiência comprovada no desenho, implementação, operação e otimização de soluções de big data escaláveis;Histórico de projetos bem-sucedidos em ambientes complexos e de alta disponibilidade.HABILIDADE TÉCNICAS:Profundo conhecimento e experiência prática com tecnologias de big data, como, Spark, ElasticSearch, Kubernetes, Hadoop, entre outras soluções para Big Data;Experiência com Linux, Shell Script e configuração de serviços Linux;Experiência com bancos de dados NoSQL, como Cassandra, InfluxDB ou Neo4j;Experiência com ferramentas de Infraestrutura como Código (IoC), como Ansible e Terraform;Experiência com orquestração de workflows de dados, como Apache Airflow ou Luigi;Conhecimento em sistemas de armazenamento distribuído, como MinIO e HDFS;Conhecimento sobre técnicas e ferramentas de otimização de performance para big data;Habilidade em linguagens de programação Python, Java ou Scala;Familiaridade com estruturas e operacionalização de data center on-premise;Familiaridade com as melhores práticas de arquitetura de software.HABILIDADE INTERPESSOAIS:Capacidade de comunicação, tanto para explicar complexidades técnicas para stakeholders não técnicos quanto para colaborar eficazmente com a equipe;Capacidade de liderança e mentoria para desenvolver membros mais jovens da equipe;Habilidades analíticas aguçadas e abordagem orientada a problemas.OUTRAS QUALIFICAÇÕES:Conhecimento em práticas de segurança voltadas para big data e conformidade regulamentar;Experiência com contêineres e orquestração;Inglês intermediário, especialmente para leitura e escrita técnica;Disposição para se manter atualizado em uma área de tecnologia em rápida evolução.DIFERENCIAIS (não obrigatórios, mas desejáveis):Certificações profissionais em big data ou tecnologias relacionadas;Pós-graduação em campos relacionados com a vaga;Conhecimentos de ambiente HPC;Conhecimentos de integração de dados e interoperabilidade;Experiência anterior em setores relacionados à saúde ou pesquisa;Experiências com orquestradores e ferramentas para trabalho com Kubernetes, como Kubesphere, Kubeflow, Rancher e outras;Conhecimento sobre padrões e regulamentos de saúde, como Lei Geral de Proteção de Dados (LGPD), GDPR e HIPAA;Conhecimentos técnicos sobre Segurança da Informação e Privacidade (Privacy by Design);Familiaridade com soluções de Cloud Computing, como AWS, Google Cloud ou Azure, e seus respectivos serviços voltados para big data;Familiaridade com práticas de DevOps e CI/CD.RESPONSABILIDADES E ATRIBUIÇÕES:Formação e Liderança: Como um profissional sênior, espera-se que esse indivíduo atue como mentor para membros mais jovens da equipe, transmitindo conhecimento e orientação técnica.Desenho e Implementação de Soluções de Big Data: Projetar, construir e implementar soluções de big data para atender às necessidades de armazenamento, processamento e análise de grandes volumes de dados.Manutenção da Infraestrutura: Garantir que os sistemas de big data estejam sempre operacionais, otimizados e com bom desempenho.Otimização de Performance: Monitorar e otimizar a performance dos sistemas de big data, garantindo processamento rápido e eficiente dos dados.Segurança dos Dados: Implementar e manter padrões e protocolos de segurança para proteger os dados e garantir a privacidade e conformidade, especialmente em contextos regulamentados.Colaboração Interdisciplinar: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender suas necessidades e traduzi-las em soluções técnicas.Escalabilidade: Projetar soluções que possam crescer em escala, lidando com volumes cada vez maiores de dados, sem comprometer a performance.Implementação de Ferramentas de Big Data: Trabalhar com uma variedade de tecnologias de big data para implementar soluções adequadas às necessidades.Gestão de Pipeline de Dados: Criar e gerenciar pipelines de dados completos, desde a ingestão até o armazenamento, processamento e análise.Automatização: Implementar soluções automatizadas para tarefas recorrentes, garantindo eficiência e redução de erros manuais.Avaliação de Novas Tecnologias: Manter-se atualizado com as últimas tecnologias e tendências em big data, avaliando e recomendando novas ferramentas e abordagens que podem beneficiar a organização.Documentação: Criar documentação técnica robusta para soluções implementadas, garantindo que outros engenheiros e partes interessadas compreendam as soluções e possam trabalhar com elas no futuro.