Gegensteuerung von Belohnungsüberoptimierung in LLM mit demonstrationsgeleiteter Verstärkungslernen

Während Verstärkungslernen (RL) sich als wesentlich für das Fine-Tuning großer Sprachmodelle (LLMs) erwiesen hat, kann es zu einer Belohnungsüberoptimierung (ROO) führen. Bestehende Ansätze zur Bekämpfung von ROO fügen KL-Regularisierung hinzu, was rechenintensive Hyperparameterabstimmungen erfordert. Darüber hinaus konzentriert sich die KL-Regularisierung ausschließlich auf die Regularisierung der Sprachpolitik und vernachlässigt eine potenzielle Quelle der Regularisierung: die Belohnungsfunktion selbst. Inspiriert von demonstrationsgeleitetem RL führen wir hier die Belohnungskalibrierung durch Demonstration (RCfD) ein, die menschliche Demonstrationen und ein Belohnungsmodell nutzt, um das Belohnungsziel neu zu kalibrieren. Formal minimiert das RCfD-Ziel die Distanz zwischen den Belohnungen der Demonstrationen und den LLM-Belohnungen, anstatt direkt die Belohnungsfunktion zu maximieren. Dieser Zielwechsel vermeidet es, das LLM zu incentivieren, das Belohnungsmodell auszunutzen, und fördert eine natürlichere und vielfältigere Sprachgenerierung. Wir zeigen die Effektivität von RCfD bei drei Sprachaufgaben, die vergleichbare Leistungen zu sorgfältig abgestimmten Baselines erzielen und gleichzeitig ROO mildern.