Wissensbasierte Agenten durch Offline-Verstärkungslernen aus großen Sprachmodell-Rollouts

Verstärkungslernen (RL) trainiert Agenten, komplexe Aufgaben durch Daten von Umweltinteraktionen zu erledigen, aber seine Kapazität ist auch durch den Umfang der verfügbaren Daten begrenzt. Um einen wissensbasierten Agenten zu erhalten, ist ein vielversprechender Ansatz, das Wissen aus großen Sprachmodellen (LLMs) zu nutzen. Trotz früherer Studien, die LLMs mit RL kombinieren, bleibt die nahtlose Integration der beiden Komponenten aufgrund ihrer semantischen Lücke eine Herausforderung. Dieses Papier stellt eine neuartige Methode vor, Wissensbasierte Agenten aus Sprachmodell-Rollouts (KALM), die Wissen aus LLMs in Form von imaginären Rollouts extrahiert, die vom Agenten durch Offline-Verstärkungslernen leicht erlernt werden können. Die Hauptschwierigkeit von KALM liegt in der Verankerung der LLMs, da LLMs von Natur aus auf Textdaten beschränkt sind, während Umweltdaten oft aus numerischen Vektoren bestehen, die LLMs unbekannt sind. Um dies zu adressieren, passt KALM das LLM an, um verschiedene Aufgaben basierend auf Umweltdaten auszuführen, einschließlich bidirektionaler Übersetzung zwischen natürlichen Sprachbeschreibungen von Fähigkeiten und den entsprechenden Rollout-Daten. Dieser Verankerungsprozess verbessert das Verständnis des LLMs für die Dynamik der Umwelt, sodass es vielfältige und bedeutungsvolle imaginäre Rollouts erzeugen kann, die neuartige Fähigkeiten widerspiegeln. Erste empirische Bewertungen der CLEVR-Robot-Umgebung zeigen, dass KALM es Agenten ermöglicht, komplexe Umformulierungen von Zielsetzungen zu vervollständigen und ihre Fähigkeiten auf neuartige Aufgaben auszudehnen, die bisher unbekanntes optimales Verhalten erfordern. KALM erreicht eine Erfolgsquote von 46 % bei der Ausführung von Aufgaben mit unbekannten Zielen, was die 26 % Erfolgsquote der Basismethoden erheblich übertrifft. Darüber hinaus ermöglicht KALM es dem LLM effektiv, die Dynamik der Umwelt zu verstehen, was zur Erzeugung von bedeutungsvollen imaginären Rollouts führt, die neuartige Fähigkeiten widerspiegeln und die nahtlose Integration von großen Sprachmodellen und Verstärkungslernen demonstrieren.