Modellinterne Antwortzuweisung für vertrauenswürdige retrieval-erweiterte Generierung

Die Sicherstellung der Überprüfbarkeit von Modellantworten ist eine grundlegende Herausforderung für die retrieval-erweiterte Generierung (RAG) im Bereich der Fragenbeantwortung (QA). Kürzlich wurde das Selbstzitations-Prompting vorgeschlagen, um große Sprachmodelle (LLMs) zur Generierung von Zitaten zu unterstützenden Dokumenten zusammen mit ihren Antworten zu bewegen. Selbstzitatende LLMs haben jedoch oft Schwierigkeiten, das erforderliche Format einzuhalten, beziehen sich auf nicht existierende Quellen und schaffen es nicht, die Kontextnutzung von LLMs während der Generierung treu wiederzugeben. In dieser Arbeit stellen wir MIRAGE – Modelle interne RAG-Erklärungen – vor, einen Plug-and-Play-Ansatz, der Modelle intern für die treue Antwortzuweisung in RAG-Anwendungen verwendet. MIRAGE erkennt kontextsensitive Antworttokens und koppelt sie mit abgerufenen Dokumenten, die zu ihrer Vorhersage durch Salienzmethoden beitragen. Wir bewerten unseren vorgeschlagenen Ansatz auf einem mehrsprachigen extraktivem QA-Datensatz und finden eine hohe Übereinstimmung mit menschlicher Antwortzuweisung. Bei offenen QA erzielt MIRAGE eine Zitierqualität und Effizienz, die mit der Selbstzitation vergleichbar ist, und ermöglicht gleichzeitig eine feinere Steuerung der Zuweisungsparameter. Unsere qualitative Bewertung hebt die Treue der Zuweisungen von MIRAGE hervor und unterstreicht die vielversprechende Anwendung der internen Modelle zur Antwortzuweisung in RAG.