Pessoa engenheira de dados senior remoto

Pessoa engenheira de dados senior remoto Join to apply for the Pessoa engenheira de dados senior remoto role at Netvagas Transformar a vida das pessoas através de inovação e tecnologia, este é o nosso propósito. Estamos procurando um(a) Pessoa Engenheira de Dados que queira impulsionar a inovação conosco Somos um Instituto de Pesquisa e Desenvolvimento formado por um time de pessoas incríveis, com ideias inovadoras, possuímos um ambiente descontraído e muito espírito colaborativo. Promovemos em nosso dia-a‑dia um ambiente de desenvolvimento, onde os Atlantes são o nosso maior foco, por isso um dos nossos valores mais fortes é a Valorização de Pessoas. Não é à toa, que estamos entre as melhores empresas de TI para se trabalhar no Brasil, segundo o ranking do GPTW. Formação Acadêmica Bacharelado em Ciência da Computação, Engenharia de Software, Ciência de Dados ou área relacionada. Pós-graduação, Mestrado ou Doutorado é desejável. Responsabilidades Colaborar com clientes para entender suas necessidades de dados e desenvolver soluções eficientes para extrair, transformar, armazenar e exibir dados. Pesquisar sistemas internos para identificar dados disponíveis, sua estrutura, métodos de acesso e otimizar seu uso em sistemas e aplicações novos ou existentes. Contribuir para o desenvolvimento de sistemas complementares que melhorem a disponibilidade de dados para a equipe do cliente. Gerenciar múltiplas solicitações de alta prioridade simultaneamente, adaptando‑se às mudanças de prioridades. Identificar e interagir com as equipes do cliente para aprofundar o conhecimento das fontes de dados e tecnologias. Liderar o desenvolvimento e aprimoramento de pipelines de dados, gerenciando novas solicitações de recursos e comunicando‑se regularmente com os gerentes do cliente. Desenvolver e manter plataformas para compartilhamento de dados e dashboards. Criar documentação abrangente sobre fontes de dados, métodos de acesso, contatos‑chave e outras informações relevantes. Apresentar resultados obtidos para stakeholders em todos os níveis (técnicos e não técnicos) de forma clara e concisa. Requisitos Obrigatórios Experiência comprovada em desenvolvimento de software. Experiência na construção e otimização de pipelines de processamento de dados em larga escala e à nível de produção, utilizando tecnologias distribuídas. Experiência na configuração e utilização de plataformas de dados, especificamente soluções de dados baseadas em nuvem, incluindo a capacidade de provisionar e configurar recursos. Experiência com Python (preferencialmente) ou outras linguagens para ciência de dados e análise. Experiência com bancos de dados relacionais e SQL. Experiência com bibliotecas populares de análise de dados (Pandas, NumPy, SciPy, Scikit-learn, etc.). Experiência com bibliotecas populares de visualização de dados (Tableau Desktop/Server, matplotlib, seaborn, plotly, etc.). Experiência na construção e otimização de pipelines de dados. Experiência no design, construção e otimização de pipelines e plataformas de dados em larga escala utilizando: Frameworks de processamento de dados distribuídos, por exemplo: Apache Spark, Apache Flink ou tecnologias similares baseadas em MapReduce. Sistemas de gerenciamento de recursos e armazenamento de Big Data, por exemplo: HDFS, YARN ou equivalentes em nuvem como S3, EMR. Ferramentas de orquestração de fluxo de trabalho, por exemplo: Apache Airflow, Dagster, Prefect. Formatos de tabela de data lake modernos, por exemplo: Apache Iceberg, Delta Lake, Apache Hudi. Mecanismos de consulta SQL distribuídos para data lakes, por exemplo: Trino/Presto. Experiência na criação de soluções para adquirir e persistir novas fontes de dados para uso por cientistas de dados e analistas. Experiência no uso de serviços baseados em nuvem, como AWS ou GCP, para transferência, processamento e armazenamento de dados. Idioma Inglês avançado (leitura, escrita, conversação, técnico) para contato diário com parceiros no exterior. Desejável Conhecimento de protocolos de rede, autenticação, criptografia e outras tecnologias que permitem uma comunicação de rede segura e eficiente. Conhecimento de tecnologias de processamento em tempo real, como Kafka, Kinesis ou equivalentes. Conhecimento de competências essenciais de gerenciamento de dados, incluindo governança, segurança e qualidade de dados. Conhecimento de ferramentas de integração de dados (Pentaho, OWB/ODI, SSIS, etc.). Conhecimento de ferramentas de exploração de dados (Jupyter Notebook, iPython, etc.). Conhecimento de padrões de design comuns no desenvolvimento de software (MVC, MVVM, etc.). Conhecimento de tecnologias como Hadoop, Hive, Cassandra e Kubernetes. Conhecimento prático de sistemas de controle de versão de software (Git preferencialmente). Vem ser Atlante Vem ser Atlante Diversidade e Inclusão No Atlântico, a diversidade e a inclusão são compromissos inegociáveis. Como instituto dedicado à pesquisa, desenvolvimento e inovação, valorizamos e incentivamos a pluralidade de pensamentos e vivências, pois isso faz parte do nosso DNA. Nossa missão é promover um ambiente de trabalho inclusivo e diverso, buscando a equidade de oportunidades e o respeito à diversidade cultural, religiosa, étnico‑racial, de gênero, de orientação afetivo‑sexual e de pessoas com deficiência, voltado para a defesa e valorização dos direitos humanos. Atualmente, o Atlântico possui uma subárea dedicada à diversidade e inclusão, inserida na área de Pessoas & Cultura. Essa subárea trabalha em colaboração com o Comitê de Diversidade e Inclusão e com os grupos de afinidades, que são compostos por pessoas voluntárias e têm como propósito oferecer um espaço seguro para a troca de vivências, a representatividade e a construção de ações afirmativas. Impacto Social O Comitê de Diversidade e Inclusão do Atlântico investe em ações de voluntariado com foco no impacto social positivo por meio do Grupo de Afinidade de Justiça Social. Nós nos concentramos em apoiar organizações do terceiro setor e projetos de impacto social que trabalhem com os públicos que são contemplados pelos pilares do Atlântico. Em 2022, lançamos nosso primeiro projeto voltado para a capacitação de pessoas em situação de vulnerabilidade social. O projeto‑piloto foi realizado na Comunidade de Ancuri, em parceria com a organização Visão Mundial e a ONG Associação Santos Dias, e formou 40 jovens em Lógica de Programação Básica. #J-18808-Ljbffr