MAKE: Gedächtnis-assoziierte Wissensbearbeitung

Zusammenfassung Seit ihrem Aufkommen haben sich große Sprachmodelle (LLMs) schnell weiterentwickelt und üben erheblichen Einfluss in verschiedenen Bereichen aus. Folglich hat die Bedeutung von Modellbearbeitungstechniken, die darauf abzielen, veraltetes oder fehlerhaftes Wissen innerhalb von Sprachmodellen lokal zu korrigieren, deutlich zugenommen. Die herkömmlichen Methoden zur Modellbearbeitung stoßen jedoch an ihre Grenzen: Sie können nicht garantieren, dass stark verwandtes Wissen auf das nachbearbeitete Modell übertragen wird, und sie sind häufig auf externe Wissensdatenbanken angewiesen, um dieses Problem zu adressieren. In diesem Papier schlagen wir einen neuartigen Ansatz vor, der das interne Wissen des Sprachmodells nutzt, um die Schwächen existierender Methoden zu überwinden. Zunächst erforschen wir, wie indirekt assoziiertes Wissen direkt aus dem Modell abgerufen werden kann, welches dann im Bearbeitungsprozess verwendet werden kann. Darauf aufbauend schlagen wir MAKE (Memory-Associated Knowledge Editing) vor, eine Bearbeitungsmethode, die die Übertragung von assoziiertem Wissen berücksichtigt. Dadurch aktualisiert MAKE erfolgreich assoziiertes Wissen und erreicht in Experimenten mit den Datensätzen zsRE+, CounterFact+ und MQuAKE eine Spitzenleistung.