Lernen, Antworten mit Zitaten über faktische Konsistenzmodelle zu generieren

Große Sprachmodelle (LLMs) halluzinieren häufig, was ihre Zuverlässigkeit in entscheidenden Situationen beeinträchtigt. Ein Ansatz zur Lösung dieses Problems besteht darin, relevante Quellen zusammen mit dem generierten Inhalt zu zitieren, um die Überprüfbarkeit der Generationen zu erhöhen. Allerdings bleibt das genaue Zitieren von Passagen in Antworten eine erhebliche Herausforderung. Dieses Papier schlägt eine schwach überwachte Feinabstimmungsmethode vor, die auf faktischen Konsistenzmodellen (FCMs) basiert. Unser Ansatz wechselt zwischen der Generierung von Texten mit Zitaten und der überwachten Feinabstimmung mit FCM-gefilterten Zitationsdaten. Fokussiertes Lernen wird in das Ziel integriert, um den Feinabstimmungsprozess dahingehend zu lenken, die faktischen Einheitstoken, gemessen durch ein FCM, zu betonen. Die Ergebnisse des ALCE Few-Shot-Zitationsbenchmarks mit verschiedenen instruktionsgesteuerten LLMs zeigen eine überlegene Leistung im Vergleich zum kontextuellen Lernen, zur herkömmlichen überwachten Feinabstimmung und zu den neuesten Methoden, mit einer durchschnittlichen Verbesserung von 34, 1, 15, 5 und 10, 5 Zitierungs-F₁-Punkten, jeweils. Darüber hinaus zeigen wir in einem Domänenübertragungssetting, dass die erlangte Fähigkeit zur Zitationsgenerierung robust auf ungesehene Datensätze übertragbar ist. Bemerkenswerterweise tragen unsere Zitationsverbesserungen zur niedrigsten faktischen Fehlerrate gegenüber den Vergleichsbasislinien bei.