Mit Sprachmodellen argumentieren ist Planen mit Weltmodellen

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten im Bereich des Denkens gezeigt, insbesondere wenn sie aufgefordert werden, Zwischenüberlegungen zu erzeugen (z. B. Chain-of-Thought, CoT). Dennoch können LLMs weiterhin Probleme haben, die für Menschen einfach sind, wie das Erzeugen von Aktionsplänen zur Ausführung von Aufgaben in einer gegebenen Umgebung oder das Durchführen komplexer mathematischer, logischer und alltäglicher Überlegungen. Das Defizit resultiert aus der entscheidenden Tatsache, dass LLMs ein internes Weltmodell fehlt, um den Weltzustand (z. B. Umweltstatus, Zwischenvariablenwerte) vorherzusagen und langfristige Ergebnisse von Aktionen zu simulieren. Dies verhindert, dass LLMs absichtliche Planungen durchführen, die dem menschlichen Gehirn ähnlich sind, welches das Erkunden alternativer Denkpfade, das Antizipieren zukünftiger Zustände und Belohnungen sowie das iterative Verfeinern bestehender Überlegungsschritte umfasst. Um die Einschränkungen zu überwinden, schlagen wir ein neues LLM-Denkrahmenwerk vor, Reasoning via Planning (RAP). RAP nutzt das LLM sowohl als Weltmodell als auch als Denkagenten und integriert einen prinzipiellen Planungsalgorithmus (basierend auf Monte Carlo Baum-Suche) für strategische Erkundungen im umfangreichen Denkraum. Während des Denkens baut das LLM (als Agent) schrittweise einen Denkbaum unter der Anleitung des LLM (als Weltmodell) und aufgabenbezogener Belohnungen auf und erlangt effizient einen hochbelohnenden Denkpfad mit einem angemessenen Gleichgewicht zwischen Exploration und Ausbeutung. Wir wenden RAP auf eine Vielzahl herausfordernder Überlegungsprobleme an, einschließlich Plangenerierung, mathematisches Denken und logische Schlussfolgerungen. Empirische Ergebnisse zu diesen Aufgaben zeigen die Überlegenheit von RAP gegenüber verschiedenen starken Baselines, einschließlich CoT und least-to-most-aufforderndem Selbstkonsistenzansatz. RAP auf LLAMA-33B übertrifft CoT auf GPT-4 mit einer relativen Verbesserung von 33 % in einer Plangenerierungseinstellung.