KnowLA: Verbesserung der parameter-effizienten Feinabstimmung mit wissensbasierter Anpassung

Die parameter-effiziente Feinabstimmung (PEFT) ist eine Schlüsseltechnik zur Anpassung großer Sprachmodelle (LLMs) an nachgelagerte Aufgaben. In diesem Papier untersuchen wir den Einsatz von Wissensgraph-Embedding zur Verbesserung der Effektivität von PEFT. Wir schlagen eine wissensbasierte Anpassungsmethode namens KnowLA vor. Diese fügt eine Anpassungsschicht in ein LLM ein, um die Einbettungen von Entitäten, die im Eingabetext erscheinen, zu integrieren. Die Anpassungsschicht wird in Kombination mit LoRA auf Instruktionsdaten trainiert. Experimente an sechs Benchmarks mit zwei beliebten LLMs und drei Wissensgraphen zeigen die Effektivität und Robustheit von KnowLA. Wir zeigen, dass es helfen kann, das relevante parametrisierte Wissen in einem LLM zu aktivieren, um eine Frage zu beantworten, ohne seine Parameter oder Eingabeaufforderungen zu ändern.