Wer ist Harry Potter? Annäherndes Vergessen in LLMs

Große Sprachmodelle (LLMs) werden auf massiven Internet-Korpora trainiert, die oft urheberrechtlich geschütztes Material enthalten. Dies stellt rechtliche und ethische Herausforderungen für die Entwickler und Nutzer dieser Modelle sowie für die ursprünglichen Autoren und Verlage dar. In diesem Papier schlagen wir eine neuartige Technik vor, um eine Teilmenge der Trainingsdaten aus einem LLM zu vergessen, ohne es von Grund auf neu trainieren zu müssen. Wir bewerten unsere Technik an der Aufgabe, die Harry Potter-Bücher aus dem Llama2-7b-Modell (einem generativen Sprachmodell, das kürzlich von Meta Open Source bereitgestellt wurde) zu vergessen. Während das Modell über 184K GPU-Stunden für das Vortraining benötigte, zeigen wir, dass wir in etwa 1 GPU-Stunde Feinabstimmung effektiv die Fähigkeit des Modells, Inhalte im Zusammenhang mit Harry Potter zu generieren oder abzurufen, löschen, während seine Leistung bei gängigen Benchmarks (wie Winogrande, Hellaswag, arc, boolq und piqa) nahezu unbeeinträchtigt bleibt. Wir stellen unser feinabgestimmtes Modell der Öffentlichkeit auf HuggingFace zur Verfügung, um eine Bewertung durch die Community zu ermöglichen. Soweit wir wissen, ist dies das erste Papier, das eine effektive Technik für das Vergessen in generativen Sprachmodellen präsentiert. Unsere Technik besteht aus drei Hauptkomponenten: Erstens verwenden wir ein verstärktes Modell, das weiter auf den Ziel-Daten trainiert wird, um die Tokens zu identifizieren, die am stärksten mit dem Ziel des Vergessens verbunden sind, indem wir seine Logits mit denen eines Basis-Modells vergleichen. Zweitens ersetzen wir idiosynkratische Ausdrücke in den Ziel-Daten durch generische Entsprechungen und nutzen die eigenen Vorhersagen des Modells, um alternative Labels für jedes Token zu generieren. Diese Labels zielen darauf ab, die Vorhersagen des nächsten Tokens eines Modells, das nicht mit den Ziel-Daten trainiert wurde, zu approximieren. Drittens stimmen wir das Modell auf diesen alternativen Labels ab, was effektiv den ursprünglichen Text aus dem Gedächtnis des Modells löscht, wenn es mit seinem Kontext angeregt wird.