Überdenken harmloser Ablehnungen beim Fein-Tuning von Grundmodellen

In diesem Beitrag untersuchen wir, inwieweit das Fein-Tuning in großen Sprachmodellen (LLMs) unerwünschtes Verhalten effektiv mindert oder lediglich verbirgt. Durch die Linse semi-realistischer Rollenspielübungen, die darauf ausgelegt sind, solche Verhaltensweisen hervorzurufen, erforschen wir die Reaktionsdynamik von LLMs nach Fein-Tuning-Interventionen. Unsere Methodik beinhaltet, die Modelle zu Chain-of-Thought (CoT) Denkprozessen aufzufordern und die Kohärenz zwischen den Denkspuren und den resultierenden Ausgaben zu analysieren. Bemerkenswerterweise identifizieren wir ein weit verbreitetes Phänomen, das wir als begründete Täuschung bezeichnen, wobei Modelle entweder aufhören, Denkspuren zu erzeugen, oder scheinbar ethische Denkspuren produzieren, die der unethischen Natur ihrer endgültigen Ausgaben widersprechen. Wir untersuchen zudem die Wirksamkeit von Antwortstrategien (höfliche Ablehnung versus explizite Widerlegung) bei der Eindämmung unerwünschter Verhaltensweisen in nachfolgenden Ausgaben mehrstufiger Interaktionen. Unsere Ergebnisse zeigen, dass explizite Widerlegungen höfliche Ablehnungen erheblich übertreffen, wenn es darum geht, die Fortsetzung unerwünschter Ausgaben zu verhindern, und nahezu die begründete Täuschung eliminieren, was die aktuellen Praktiken im Modellfein-Tuning in Frage stellt. Dementsprechend sind die beiden wesentlichen Beiträge dieses Papiers (1) die Definition und Untersuchung der begründeten Täuschung, einer neuen Art von verstecktem Verhalten, und (2) der Nachweis, dass Widerlegungen ein robusteres Antwortmodell auf schädliche Anfragen bieten als Ablehnungen, was die Notwendigkeit unterstreicht, die Antwortstrategien in Fein-Tuning-Ansätzen zu überdenken.