Desenvolvedor de Dados Eficaz

A sua contribuição será essencial para transformar a vida das pessoas por meio de inovação e tecnologia. Estamos procurando alguém que esteja motivado em impulsionar a inovação conosco.

• Criar sistemas eficazes para extrair, transformar, armazenar e exibir dados;
• Pesquisar sistemas internos para identificar dados disponíveis, sua estrutura, métodos de acesso e otimizar seu uso em sistemas e aplicações novas ou existentes;
• Contribuir para o desenvolvimento de sistemas complementares que melhorem a disponibilidade de dados para a equipe do cliente;
• Gerenciar múltiplas solicitações de alta prioridade simultaneamente, adaptando-se às mudanças de prioridades;
• Identificar e interagir com as equipes do cliente para aprofundar o conhecimento das fontes de dados e tecnologias;
• Liderar o desenvolvimento e aprimoramento de pipelines de dados, gerenciando novas solicitações de recursos e comunicando-se regularmente com os gerentes do clientes;
• Desenvolver e manter plataformas para compartilhar dados e dashboards;
• Criar documentação abrangente sobre fontes de dados, métodos de acesso, contatos-chave e outras informações relevantes;
• Apresentar resultados obtidos para stakeholders em todos os níveis (técnicos e não técnicos) de forma clara e concisa;

• Experiência comprovada em desenvolvimento de software;
• Experiência na construção e otimização de pipelines de processamento de dados em larga escala e à nível de produção, utilizando tecnologias distribuídas;
• Experiência na configuração e utilização de plataformas de dados, especificamente soluções de dados baseadas em nuvem, incluindo a capacidade de provisionar e configurar recursos;
• Experiência com Python (preferencialmente) ou outras linguagens para ciência de dados e análise;
• Experiência com bancos de dados relacionais e SQL;
• Experiência com bibliotecas populares de análise de dados (Pandas, NumPy, SciPy, Scikit-learn, etc.);
• Experiência com bibliotecas populares de visualização de dados (Tableau Desktop/Server, matplotlib, seaborn, plotly, etc.);
• Experiência na construção e otimização de pipelines de dados;
• Experiência no design, construção e otimização de pipelines e plataformas de dados em larga escala utilizando:
• Frameworks de processamento de dados distribuídos, por exemplo: Apache Spark, Apache Flink ou tecnologias similares baseadas em MapReduce;
• Sistemas de gerenciamento de recursos e armazenamento de Big Data, por exemplo: HDFS, YARN ou equivalentes em nuvem como S3, EMR;
• Ferramentas de orquestração de fluxo de trabalho, por exemplo: Apache Airflow, Dagster, Prefect;
• Formatos de tabela de data lake modernos, por exemplo: Apache Iceberg, Delta Lake, Apache Hudi;
• Mecanismos de consulta SQL distribuídos para data lakes, por exemplo: Trino/Presto;
• Experiência na criação de soluções para adquirir e persistir novas fontes de dados para uso por cientistas de dados e analistas;
• Experiência no uso de serviços baseados em nuvem, como AWS ou GCP, para transferência, processamento e armazenamento de dados;

• Inglês avançado (leitura, escrita, conversação, técnico) para contato diário com parceiros no exterior;

• Conhecimento de protocolos de rede, autenticação, criptografia e outras tecnologias que permitem uma comunicação de rede segura e eficiente;
• Conhecimento de tecnologias de processamento em tempo real, como Kafka, Kinesis ou equivalentes;
• Conhecimento de competências essenciais de gerenciamento de dados, incluindo governança, segurança e qualidade de dados;
• Conhecimento de ferramentas de integração de dados (Pentaho, OWB/ODI, SSIS, etc.);
• Conhecimento de ferramentas de exploração de dados (Jupyter Notebook, iPython, etc.);
• Conhecimento de padrões de design comuns no desenvolvimento de software (MVC, MVVM, etc.);
• Conhecimento de tecnologias como Hadoop, Hive, Cassandra e Kubernetes;
• Conhecimento prático de sistemas de controle de versão de software (Git preferencialmente);

Você está pronto para se juntar a nossa equipe e fazer uma diferença significativa?

Nós valorizamos e incentivamos a pluralidade de pensamentos e vivências. Acreditamos que a diversidade é fundamental para o sucesso da nossa missão.

Nós nos concentramos em apoiar organizações do terceiro setor e projetos de impacto social que trabalham com os públicos contemplados pelos pilares do Atlântico.