Große Denkmodelle (LRMs) haben die Leistung bei komplexen Aufgaben erheblich verbessert, doch ihre Neigung zum Überdenken führt zu Ineffizienzen. Diese Studie untersucht die internen Mechanismen von mit Verstärkungslernen (RL) trainierten LRMs, wenn sie dazu aufgefordert werden, das Denken zu sparen, und zeigt drei unterschiedliche Denkmodi auf: kein Denken (NT), explizites Denken (ET) und implizites Denken (IT). Durch umfassende Analysen des Vertrauens in den Abschluss des Denkens, der Aufmerksamkeit vom Denken zur Generierung und der Aufmerksamkeitsfokussierung auf Eingabebereiche decken wir Schlüsselfaktoren auf, die das Denkverhalten beeinflussen. Wir stellen zudem fest, dass NT die Ausgabelänge auf Kosten der Genauigkeit reduziert, während ET und IT die Genauigkeit bei verkürzter Antwortlänge aufrechterhalten. Unsere Ergebnisse offenbaren grundlegende Inkonsistenzen in RL-optimierten LRMs, die adaptive Verbesserungen zur Gewährleistung zuverlässiger Effizienz erfordern.
Zhu et al. (Wed,) untersuchten diese Frage.