Engenharia de ia generativa

Buscamos uma pessoa focada na engenharia de IA Generativa para atuar diretamente com nosso time de tecnologia, impulsionando a evolução dos produtos de IA Generativa. Seu papel será instrumentar e coletar dados de funcionamento dos sistemas, transformá-los em métricas e análises acionáveis e orientar decisões de produto e de negócio para aumentar qualidade, segurança, eficiência e impacto. Suas principais responsabilidadesInstrumentar o produto de ponta a ponta: definir eventos, logs e telemetria de conversas/consultas, garantindo privacidade e conformidade (LGPD). Construir e manter pipelines de dados e camadas semânticas que consolidem uso, custo, latência, satisfação e qualidade de respostas. Definir e acompanhar métricas-chave de LLM e de produto: taxa de resolução, groundedness/factualidade, hallucination rate, cobertura de RAG, retenção, NPS, custo por sessão e SLA de latência. Desenvolver frameworks de avaliação offline/online: datasets de referência, rubricas de avaliação, feedback humano (HITL), autoavaliação com LLM e testes de regressão. Conduzir experimentos A/B e análises causais; traduzir resultados em recomendações claras de priorização e ganhos estimados. Criar dashboards e sistemas de alerta para stakeholders de produto, engenharia e negócio. Colaborar com PMs para melhorar prompts, arquitetura de agentes, RAG e bases de conhecimento. Apoiar a governança do RAG: curadoria de fontes, chunking/embedding, deduplicação e versionamento. Monitorar e otimizar eficiência: escolha/versão de modelos, tamanho de contexto, caching, custo e latência. Mapear causas-raiz de erros e estruturar taxonomias para orientar roadmap e mitigação de riscos (segurança, toxicidade...)Requisitos Essenciais:  Graduação em Engenharia, Ciência da Computação, Matemática, Estatística ou áreas correlatas. 5+ anos de experiência em ML/Data/Analytics aplicada a produtos digitais. Vivência com produtos de IA Generativa (LLMs) e suas métricas; experiência com OpenAI/Azure/Open Source ou provedores equivalentes. Sólidos conhecimentos em Python e SQL. Experiência com instrumentação e tracking de eventos (ex.: Segment, Amplitude, Mixpanel, GA4) e pipelines/orquestração (ex.: Airflow, Prefect, dbt). Prática em experimentação e avaliação: A/B testing, desenho experimental e análise estatística. Experiência criando dashboards (ex.: Looker, Metabase, Power BI, Databricks SQL) e relatórios executivos. Conhecimento de RAG, embeddings e versionamento de prompts/datasets. Comunicação clara, mentalidade de produto e orientação a impacto. Como você pode nos surpreenderObservabilidade de LLMs (ex.: Langfuse, Helicone, Arize, WhyLabs, Evidently, MLflow, Weights & Biases). Ferramentas/fundamentos de LLM apps (LangChain, LlamaIndex), vetores (Pinecone, Weaviate, FAISS, Milvus). Tracing e monitoramento (OpenTelemetry, Datadog) e governança/segurança de dados (LGPD, PII redaction). Otimização de custo/performance de LLMs e design de guardrails/moderação. Conhecimento do mercado financeiro/investimentos. Inglês/Espanhol para colaboração e leitura técnica. Benefícios  Benefícios que fazem a diferença na sua jornada com a genteAqui, a experiência do colaborador é levada a sério, do bem-estar à carreira, passando por momentos importantes da vida. Confira o que te espera:  Vale Refeição e Alimentação (Pluxee)Uso flexível para você administrar da forma que preferir: supermercado, restaurante, delivery você escolhe  Plano de SaúdeConvênios de qualidade com Bradesco ou Unimed Nacional, sem coparticipação. Porque saúde boa é saúde acessível.  Plano Odontológico (Odontoprev)Cuide do seu sorriso com tranquilidade e cobertura completa  Saúde Pet (Doglife)Seu pet também faz parte da família Oferecemos parceria para plano de saúde exclusivo para ele  Saúde Mental & Bem-estarSessões de terapia gratuitas com a Wellz e acesso a academias e aulas online com a Wellhub. Corpo e mente em equilíbrio  Desenvolvimento ContínuoAcesso gratuito ao LinkedIn Learning e parcerias com escolas como Open English e The English Academy. Somos fintech e incentivamos a inovação com a Rockeseat Santander Open Academy.  Auxílio-CrechePara apoiar quem cuida de quem mais precisa.  Inclusão & DiversidadeLicença maternidade de 6 meses e paternidade de 20 diasAuxílio-creche vitalício para filhos com deficiênciaOnboarding inclusivo para pessoas com deficiênciaReembolso de materiais e períféricos que garantem a acessibilidade  Day Off de AniversárioUm dia todinho seu, para aproveitar como quiser  Programa de Indicação (TalenToro)Indicou alguém com o nosso DNA? Você ganha com isso   Plataforma de GamificaçãoNa nossa plataforma de cultura #Valorize, você consegue acumular Torocoins para trocar por vales educação ou resgatar prêmios incríveis em nossa loja.Conquistas + engajamento = prêmios e experiências únicas   Reembolso de CertificaçõesCobrimos o custo de certificações obrigatórias para o seu cargo. Investimos no seu crescimento  Auxílio Home OfficeReembolso de cadeira, mesa e periféricos para garantir conforto e produtividade na sua jornada remota.  PLR Participação nos Lucros e ResultadosSeu esforço é reconhecido e valorizadoA MELHOR COMBINAÇÃO DE PESSOAS E TECNOLOGIA  Somos uma das maiores fintechs de investimentos do mundo Fazemos parte do Santander, o maior banco da Zona do Euro e estamos dobrando de tamanho a cada ano. Nosso propósito é gerar liberdade financeira para as pessoas, sendo a ponte entre elas e seus objetivos Por isso, sonhamos grande e buscamos inovação contínua para ajudá-las a encontrar as melhores oportunidades de investimentos do mercado e a investir de um jeito fácil, seguro e com Corretagem Zero de verdade. Para isso, combinamos pessoas e tecnologia, valorizando e preservando o espírito colaborativo, diverso e inovador. Todas as pessoas do nosso time são essenciais para o nosso desenvolvimento e sucesso.  Nossa cultura: Dividimos e tangibilizamos em 3 valores as nossas atitudes e práticas da cultura que vivemos todos os dia na Toro. Ação de Dono: Somos protagonistas, gostamos de fazer a diferença. Assumimos a responsabilidade e colocamos a mão na massa pensando na empresa como um todo. Entregamos resultado fazendo mais com menos e valorizando a meritocracia. Visão de Time: Somos uma empresa colaborativa, estamos espalhados por todo o Brasil. Trabalhamos de forma colaborativa com transparência, humildade e respeito. Praticamos a autonomia com alinhamento e atuamos sempre a favor dos maiores objetivos da empresa e do cliente. Foco no Cliente: Temos como objetivo fazer com que o nosso cliente possua as melhores oportunidades, que ele seja feliz e atinja os seus objetivos. Entregamos resultados gerando valor para o cliente com soluções simples e prazer em servir. Inovamos aprendendo com agilidade e sem medo de errar. Nosso compromisso com a diversidade:  A Toro respeita a pluralidade de identidades e trabalha para promover uma cultura inclusiva.Sabemos que temos muito a fazer e por isso, buscamos pessoas que querem sonhar esse sonho com a gente. Se identificou? Então embarque nessa constante evolução e #VemPraToro