Lições do Treinamento de LLMs Fundamentados com Recompensas Verificáveis

Gerar respostas fundamentadas e confiáveis continua sendo um desafio central para grandes modelos de linguagem (LLMs). Embora a geração aumentada por recuperação (RAG) com fundamentação baseada em citações mostre potencial, modelos ajustados por instrução frequentemente falham mesmo em cenários simples: deixam de apresentar respostas explicitamente declaradas, citam incorretamente ou se recusam a responder quando há evidências disponíveis. Neste trabalho, exploramos como o aprendizado por reforço (RL) e o raciocínio interno podem aprimorar a fundamentação em LLMs. Usamos o método GRPO (Group Relative Policy Optimization) para treinar modelos usando recompensas verificáveis baseadas em resultados, focando na correção da resposta, suficiência das citações e qualidade da recusa, sem exigir rastros de raciocínio dourados ou anotações onerosas. Por meio de experimentos abrangentes nos conjuntos ASQA, QAMPARI, ELI5 e ExpertQA, mostramos que modelos augmentados com raciocínio superam significativamente variantes ajustadas apenas por instrução, especialmente ao lidar com consultas sem resposta e gerar respostas bem citadas. Uma configuração de treinamento em duas etapas, otimizando primeiro o comportamento de resposta e citação e depois a recusa, melhora ainda mais a fundamentação ao estabilizar o sinal de aprendizado. Além disso, revisitamos o ajuste por instrução via destilação GPT-4 e constatamos que combiná-lo com GRPO amplia o desempenho em tarefas de QA generativas de forma longa. De modo geral, nossos achados destacam o valor do raciocínio, da otimização etapa a etapa e do RL orientado por resultados para construir LLMs mais verificáveis e confiáveis.