Wenn Rückblick nicht 20/20 ist: Grenzen des reflektierenden Denkens in großen Sprachmodellen testen

Jüngste Studien legen nahe, dass selbstreflektierendes Anregen die Denkfähigkeiten großer Sprachmodelle (LLMs) erheblich verbessern kann. Der Einsatz von externem Feedback als Abbruchkriterium wirft jedoch Zweifel an dem wahren Ausmaß der Fähigkeit von LLMs auf, menschenähnliche Selbstreflektion zu emulieren. In diesem Papier setzen wir uns das Ziel, diese Fähigkeiten unter einer strengeren Bewertungssituation zu klären, in der jegliches externes Feedback nicht erlaubt ist. Unsere Ergebnisse in diesem Rahmen zeigen eine Spaltung: Während Selbstreflexion die Leistung in TruthfulQA verbessert, hat sie negative Auswirkungen auf die Ergebnisse in HotpotQA. Wir führen Folgeanalysen durch, um die beitragenden Faktoren in diesen Mustern zu klären, und stellen fest, dass der Einfluss der Selbstreflexion sowohl von der Zuverlässigkeit der Genauigkeit in den ursprünglichen Antworten der Modelle als auch von der allgemeinen Fragenschwierigkeit betroffen ist: konkret zeigt die Selbstreflexion den größten Nutzen, wenn die Modelle anfangs weniger wahrscheinlich korrekt sind und die allgemeine Fragenschwierigkeit höher ist. Außerdem finden wir heraus, dass Selbstreflexion die Tendenz zu Mehrheitsabstimmungen verringert. Basierend auf unseren Ergebnissen schlagen wir Richtlinien für Entscheidungen vor, wann Selbstreflexion implementiert werden sollte. Wir veröffentlichen den Code zur Reproduktion unserer Experimente unter https://github.com/yanhong-lbh/LLM-SelfReflection-Eval.