Engenheiro de dados

Descrição da vaga Na Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global. Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui Junte-se a nós e seja parte da mudança Responsabilidades e atribuições Formação: • Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas correlatas • Especialização em Engenharia de Dados, Big Data ou Analytics (desejável) • Certificações relevantes em plataformas de dados (ex: Elastic Certified Engineer - desejável) • Cursos complementares em processamento de linguagem natural ou preparação de dados para ML (desejável) Experiência: • Experiência na construção de pipelines de dados para aplicações de machine learning • Vivência com extração, transformação e carregamento (ETL) de dados não estruturados • Experiência na preparação de datasets para treinamento de modelos de linguagem • Conhecimento prático da plataforma Elastic Stack (Elasticsearch, Logstash, Kibana) • Desejável certificação nas soluções Elastic • Experiência com integração de fontes de dados heterogêneas • Vivência com sistemas de armazenamento e processamento de dados em larga escala • Experiência em projetos envolvendo dados de segurança da informação (desejável) Conhecimentos Específicos: • Domínio de ferramentas de processamento de dados (ex: Apache Spark, Pandas) • Proficiência em linguagens de programação para manipulação de dados (Python) • Conhecimento sólido em bancos de dados SQL e NoSQL • Familiaridade com formatos de dados para NLP e treinamento de LLMs • Experiência com APIs e métodos de coleta de dados de fontes externas • Conhecimento em sistemas de versionamento de dados e metadados • Familiaridade com ambiente cloud para processamento de dados • Experiência com Docker • Familiaridade com Kubernetes e orquestração de serviços • Conhecimento em práticas de data governance e qualidade de dados : Habilidades: • Capacidade analítica e resolução de problemas complexos de dados • Atenção meticulosa a detalhes e qualidade dos dados • Organização e documentação de processos de dados • Habilidade para otimizar pipelines de dados para eficiência • Comunicação clara sobre aspectos técnicos de dados • Capacidade de trabalhar com diferentes stakeholders técnicos • Pensamento crítico para avaliação de qualidade e relevância de dados • Proatividade na identificação e solução de problemas de dados • Adaptabilidade para trabalhar com diferentes tecnologias e fontes de dados • Capacidade de balancear velocidade de entrega com qualidade de dados Responsabilidades: • Projetar e implementar pipelines de dados para alimentar o processo de customização do LLM • Coletar, processar e estruturar fontes de dados diversas • Desenvolver scripts e processos para extração de dados estruturados e não estruturados • Implementar transformações para converter dados brutos em formatos adequados para treinamento • Garantir a qualidade, consistência e relevância dos dados utilizados no treinamento • Criar mecanismos para validação e teste dos conjuntos de dados • Desenvolver processos para enriquecimento de dados • Implementar armazenamento eficiente de dados e resultados de treinamento • Configurar a integração de dados entre o modelo treinado e a plataforma Elastic • Documentar arquitetura de dados, fluxos e transformações • Implementar práticas de versionamento e rastreabilidade de dados • Otimizar o fluxo de dados para as iterações de treinamento do modelo • Garantir a segurança e conformidade no tratamento dos dados utilizados Stefanini: Acreditar para Cocriar Na Stefanini, a inovação não é apenas uma meta; é uma jornada que trilhamos juntos, onde a colaboração se torna a essência da transformação.