Especialista em LLM e Prompt Engineering

Este especialista terá a missão de elevar agentes de IA já prototipados ao nível de soluções robustas em produção, integrando LLM e dados reais da empresa. Será responsável por definir e aplicar técnicas avançadas de engenharia de prompt e estratégias de interação com LLMs para melhorar a precisão, consistência e controlabilidade das respostas desses agentes. O foco do papel é garantir que os agentes forneçam respostas úteis e seguras, alinhadas aos objetivos do negócio, por meio de prompts bem elaborados, uso de funções auxiliares e monitoramento contínuo do desempenho dos modelos em ambiente de produção.

• Implementar e gerenciar o deploy de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma.
• Projetar, testar e otimizar prompts avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos few-shot , chain-of-thought ) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso.
• Desenvolver estratégias para incorporar funções auxiliares ou ferramentas de apoio ao LLM, como integrações para buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas, ampliando as capacidades dos agentes além do texto livre.
• Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes, definindo métricas objetivas (precisão, relevância, utilidade), realizando testes A/B e coordenando ciclos de feedback com usuários para melhoria contínua.
• Monitorar ativamente o desempenho dos modelos em produção, criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, para identificar oportunidades de ajuste.
• Colaborar com engenheiros de sistemas e dados para garantir o uso de dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos, incluindo a implementação de RAG com base no data lake da empresa, quando aplicável.
• Refinar agentes de IA existentes, ajustando prompts e parâmetros para melhorar a exatidão, evitar ambiguidades e garantir consistência no tom e nas políticas de segurança e conformidade.
• Executar testes rigorosos antes de cada release, incluindo cenários de borda e tentativas de uso indevido, ajustando prompts ou adicionando validações para garantir robustez e segurança.
• Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis e contribuindo para o conhecimento interno da empresa.
• Acompanhar as evoluções na área de IA generativa e LLMs, incorporando melhores práticas para manter os agentes atualizados.
• Ter experiência comprovada com implementação e integração de modelos de linguagem, como APIs de OpenAI, Azure/GCP AI ou modelos open-source (GPT-Neo, LLaMA), em produção.
• Domínio de técnicas de prompt engineering, incluindo escrita de prompts eficazes, ajuste de tom e estilo, uso de instruções de sistema e estratégias como cadeia de raciocínio.
• Familiaridade com ferramentas e frameworks de LLM Ops, como LangChain, LlamaIndex, além de metodologias de avaliação de respostas de IA.
• Conhecimento em avaliação de desempenho de modelos, configuração de experimentos A/B, coleta de feedback e análise de melhorias.
• Habilidade em programação (Python ou similares) para implementação de pipelines, processamento de resultados e integração com plataformas.
• Entendimento de observabilidade e segurança em IA, incluindo monitoramento, identificação de respostas inadequadas e filtros de segurança.
• Sólido conhecimento em PLN, compreendendo as capacidades e limitações de modelos de linguagem, além de impacto de dados de treinamento.
• Graduação em Ciência da Computação, Engenharia, Física, Estatística ou área relacionada, ou experiência equivalente.
• Perfil analítico, metódico, atento a detalhes e com boa comunicação para traduzir necessidades em configurações técnicas.

Diferenciais Desejáveis:

• Experiência com chain-of-thought prompting e pipelines multi-etapas com LLMs.
• Conhecimento de fine-tuning de modelos ou RLHF para ajustes personalizados.
• Familiaridade com bases de conhecimento, bancos de vetores e técnicas de Retrieval-Augmented Generation (RAG).
• Vivência em avaliação humana de IA, elaboração de guidelines e moderação de conteúdo.
• Participação em comunidades de IA, projetos open-source ou Kaggle.
• Inglês avançado para leitura de documentação e pesquisas internacionais.
• Experiência com framework do crewai.

Modelo de contratação : PJ

Tipo de CNPJ/Empresa: ME ou LTDA

Cachê: Valor fixo em Nota Fiscal

Infraestrutura: Notebook para quem está em SP ou auxílio para quem está fora, garantindo internet e insumos.

Benefícios: Recesso de 30 dias + 1/3, assistência médica SulAmérica, seguro de vida, VR, day-off no aniversário, assistência odontológica opcional, reembolso em cursos, avaliações semestrais, escritório moderno com restaurante próprio.