Große Denkmodelle (LRMs) zeigen beispiellose Fähigkeiten bei der Lösung komplexer Probleme durch Chain-of-Thought (CoT) Denken. Jüngste Studien zeigen jedoch, dass ihre endgültigen Antworten oft im Widerspruch zu ihren eigenen Denkspuren stehen. Wir stellen die Hypothese auf, dass diese Inkonsistenz aus zwei konkurrierenden Mechanismen zur Generierung von Antworten resultiert: CoT-Denken und Gedächtnisabruf. Um diese Hypothese zu testen, führen wir kontrollierte Experimente durch, die LRMs mit irreführenden Hinweisen während des Denkens und/oder fehlerhaften Antworten während des Abrufs herausfordern. Unsere Ergebnisse über Modelle und Datensätze hinweg bestätigen, dass beide Mechanismen gleichzeitig wirken, wobei ihre relative Dominanz von mehreren Faktoren beeinflusst wird: Problemdomänen, Modellgrößen und Feinabstimmungsansätze (z. B. verstärkendes Lernen vs. Destillation). Die Ergebnisse zeigen eine kritische Einschränkung der aktuellen Denkfeinabstimmung: Modelle können den Abrufmechanismus als Abkürzung nutzen, was effektiv das Belohnungssignal „hackt“ und die echte Entwicklung des Denkens untergräbt. Um diese Herausforderung zu bewältigen, stellen wir FARL vor, ein neuartiges Feinabstimmungsframework, das das unbewusste Vergessen von Gedächtnisinhalten mit verstärkendem Lernen kombiniert. Durch die sorgfältige Unterdrückung von Abrufabkürzungen während des Feinabstimmungsprozesses fördert FARL ein denken-dominantes Verhalten und verbessert die verallgemeinerbaren Denkfähigkeiten.
Wang et al. (Mon,) haben diese Frage untersucht.