Grandes modelos de raciocínio (GMRs) exibem capacidades sem precedentes na resolução de problemas complexos por meio de raciocínio em Cadeia de Pensamentos (CPT). No entanto, estudos recentes revelam que suas respostas finais muitas vezes contradizem suas próprias trilhas de raciocínio. Hipotetizamos que essa inconsistência decorre de dois mecanismos concorrentes para gerar respostas: raciocínio em CPT e recuperação de memória. Para testar essa hipótese, realizamos experimentos controlados que desafiam os GMRs com dicas enganosas durante o raciocínio e/ou respostas corrompidas durante a recuperação. Nossos resultados em vários modelos e conjuntos de dados confirmam que ambos os mecanismos operam simultaneamente, com sua dominância relativa influenciada por fatores múltiplos: domínios de problemas, escalas de modelos e abordagens de ajuste fino (por exemplo, aprendizado por reforço vs. destilação). As descobertas revelam uma limitação crítica nos paradigmas atuais de ajuste fino de raciocínio: os modelos podem explorar o mecanismo de recuperação como um atalho, efetivamente "hackeando" o sinal de recompensa e minando o desenvolvimento genuíno do raciocínio. Para enfrentar esse desafio, apresentamos o FARL, uma nova estrutura de ajuste fino que integra o desaprendizagem de memória com o aprendizado por reforço. Ao suprimir cuidadosamente os atalhos de recuperação durante o processo de ajuste fino, o FARL promove um comportamento dominante de raciocínio e aprimora capacidades de raciocínio generalizáveis.
Wang et al. (Mon,) estudaram essa questão.