Bedingungslose Wahrhaftigkeit: Lernen von bedingter Abhängigkeit zur Unsicherheitsquantifizierung von großen Sprachmodellen

Die Unsicherheitsquantifizierung (UQ) ist ein perspektivischer Ansatz zur Erkennung von Halluzinationen und minderwertigen Ausgaben großer Sprachmodelle (LLM). In dieser Arbeit gehen wir auf eine der Herausforderungen der UQ bei Generierungsaufgaben ein, die aus der bedingten Abhängigkeit zwischen den Generierungsschritten eines LLM resultiert. Wir schlagen vor, diese Abhängigkeit aus Daten zu lernen. Wir trainieren ein Regressionsmodell, dessen Zielvariable die Lücke zwischen der bedingten und der inbedingten Generierungskonfidenz ist. Während der LLM-Inferenz verwenden wir dieses gelernte Modell der bedingten Abhängigkeit, um die Unsicherheit des aktuellen Generierungsschritts basierend auf der Unsicherheit des vorherigen Schritts zu modulieren. Unsere experimentelle Bewertung an neun Datensätzen und drei LLMs zeigt, dass die vorgeschlagene Methode äußerst effektiv für die Unsicherheitsquantifizierung ist und erhebliche Verbesserungen im Vergleich zu konkurrierenden Ansätzen erzielt.