Große Sprachmodelle mit episodischem Gedächtnis anregen

Die Optimierung von Aufforderungen ist entscheidend für die Verbesserung der Leistung großer Sprachmodelle (LLMs) in einer Reihe von Aufgaben der natürlichen Sprachverarbeitung (NLP), insbesondere in Szenarien des Few-Shot-Lernens, bei denen Trainingsbeispiele direkt in die Aufforderung integriert werden. Trotz des wachsenden Interesses an der Optimierung von Aufforderungen mit Few-Shot-Beispielen sind bestehende Methoden zur Optimierung von Aufforderungen oft ressourcenintensiv oder erweisen sich als unzureichend. In diesem Werk schlagen wir PrOmpting mit episodischem Gedächtnis (POEM) vor, eine neuartige Technik zur Optimierung von Aufforderungen, die einfach, effizient ist und starke Generalisierungsfähigkeiten zeigt. Wir betrachten die Optimierung von Aufforderungen als eine Herausforderung im Bereich des Reinforcement Learning (RL), wobei wir episodisches Gedächtnis nutzen, um Kombinationen von Eingabedaten, Permutationen von Few-Shot-Beispielen und die während des Trainings beobachteten Belohnungen zu archivieren. In der Testphase optimieren wir die Sequenz von Beispielen für jede Testanfrage, indem wir die Sequenz auswählen, die die höchsten Gesamtnutzungen der besten k ähnlichsten Trainingsbeispiele im episodischen Gedächtnis erzielt. Unsere Ergebnisse zeigen, dass POEM die jüngsten Techniken wie TEMPERA und RLPrompt in verschiedenen Textklassifizierungsaufgaben um über 5,3 % übertrifft. Darüber hinaus passt sich unser Ansatz gut an umfassendere Aufgaben des Sprachverständnisses an und übertrifft konsequent herkömmliche heuristische Methoden zur Anordnung von Beispielen.