Key points are not available for this paper at this time.
Zusammenfassung Wir entwerfen eine Reihe von semantischen Illusionen und Tests zur kognitiven Reflexion, um intuitive, jedoch fehlerhafte Antworten hervorzurufen. Wir führen diese Aufgaben, die traditionell zur Untersuchung von Denken und Entscheidungsfindung bei Menschen verwendet werden, an der generativen, vortrainierten Transformator-Modellfamilie von OpenAI durch. Die Ergebnisse zeigen, dass mit der Vergrößerung der Modelle in Größe und sprachlicher Fähigkeiten zunehmend menschliche, intuitive System-1-Denkweisen und damit verbundene kognitive Fehler auftreten. Dieses Muster ändert sich bemerkenswert mit der Einführung der ChatGPT-Modelle, die dazu neigen, korrekt zu antworten und die Fallen, die in den Aufgaben eingebettet sind, zu vermeiden. Sowohl ChatGPT-3.5 als auch 4 nutzen das Eingabe-Ausgabe-Kontextfenster, um eine Kette von Gedanken zu engend, ähnlich wie Menschen Notizblöcke verwenden, um ihr System-2-Denken zu unterstützen. Dennoch bleiben sie genau, selbst wenn sie daran gehindert werden, in Ketten von Gedanken zu denken, was darauf hinweist, dass ihre system-1-ähnlichen Prozesse zur Generierung des nächsten Wortes genauer sind als die älterer Modelle. Unsere Ergebnisse heben den Wert hervor, psychologische Methoden zur Untersuchung großer Sprachmodelle anzuwenden, da dies bisher unentdeckte emergente Merkmale aufdecken kann.
Hagendorff et al. (Do,) untersuchten diese Frage.