RLSF: Verstärkendes Lernen durch symbolisches Feedback

In den letzten Jahren haben große Sprachmodelle (LLMs) dramatische Auswirkungen auf verschiedene Teilbereiche der KI gehabt, insbesondere auf Aufgaben des Verständnisses natürlicher Sprache. Es gibt jedoch weitgehende Übereinstimmung darüber, dass die logischen Argumentationsfähigkeiten zeitgenössischer LLMs bestenfalls fragmentarisch sind (d.h. sie können bei bestimmten Problemstellungen gut funktionieren, bei anderen jedoch dramatisch versagen). Während traditionelle Feinabstimmungsmethoden für LLMs (z. B. solche, die menschliches Feedback nutzen) dieses Problem bis zu einem gewissen Grad angehen, leiden sie unter vielen Problemen, darunter unsichere Black-Box-Belohnungsmodelle, Schwierigkeiten bei der Sammlung von Präferenzdaten und spärliche skalare Belohnungswerte. Um diese Herausforderungen zu bewältigen, schlagen wir ein neues Trainings-/Feinabstimmungparadigma vor, das wir als Verstärkendes Lernen durch symbolisches Feedback (RLSF) bezeichnen, welches darauf abzielt, die Argumentationsfähigkeiten von LLMs zu verbessern. In der RLSF-Einstellung wird das LLM, das trainiert/feinabgestimmt wird, als der RL-Agent betrachtet, während die Umgebung Zugang zu Argumentations- oder Fachwissenstools (z. B. Lösungsstrategien, Algebra-Systeme) erhält. Entscheidend ist, dass in RLSF diese Argumentationstools dem LLM über poly-große Zertifikate (z. B. Beweise) Feedback geben können, die Fehler im vom LLM erzeugten Objekt in Bezug auf eine bestimmte Korrektheitsspezifikation charakterisieren. Die Fähigkeit des RLSF-basierten Trainings/der Feinabstimmung, zertifikatgenerierende symbolische Werkzeuge zu nutzen, ermöglicht präzise, feingranulare (Token-level) Belohnungssignale für LLMs und adressiert somit die oben genannten Einschränkungen traditioneller Belohnungsmodelle. Durch umfangreiche Bewertungen zeigen wir, dass unsere RLSF-basierte Feinabstimmung von LLMs bei zwei verschiedenen Anwendungen traditionelle Ansätze übertrifft, nämlich der Programmsynthese aus natürlicher Sprache Pseudo-Code zu Programmiersprache (C++) und der Lösung des Spiels 24.