Verknüpfung des kontextuellen Lernens in Transformatoren mit dem menschlichen episodischen Gedächtnis

Das Verständnis der Verbindungen zwischen künstlichen und biologischen intelligenten Systemen kann grundlegende Prinzipien enthüllen, die der allgemeinen Intelligenz zugrunde liegen. Während viele Modelle der künstlichen Intelligenz (KI) ein neurobiologisches Gegenstück haben, fehlen solche Verbindungen weitgehend in Transformator-Modellen und dem Selbstaufmerksamkeitsmechanismus. Hier untersuchen wir die Beziehung zwischen Aufmerksamkeitsköpfen und dem menschlichen episodischen Gedächtnis. Wir konzentrieren uns auf die Induktionsköpfe, die zu den Lernfähigkeiten im Kontext von großen Sprachmodellen (LLMs) auf Transformatorbasis beitragen. Wir zeigen, dass Induktionsköpfe verhaltensmäßig, funktional und mechanistisch ähnlich sind wie das Modell der kontextuellen Erhaltung und Abruf (CMR) des menschlichen episodischen Gedächtnisses. Unsere Analysen von LLMs, die auf umfangreichen Textdaten vortrainiert wurden, zeigen, dass CMR-ähnliche Köpfe häufig in den Zwischenschichten des Modells auftreten und dass sich ihr Verhalten qualitativ mit den Gedächtnisverzerrungen in Menschen deckt. Unsere Ergebnisse offenbaren ein Parallel zwischen den rechnerischen Mechanismen von LLMs und dem menschlichen Gedächtnis und bieten wertvolle Einblicke in beide Forschungsfelder.