Gültigkeit großer Sprachmodelle durch verbesserte konforme Vorhersagemethoden

Wir entwickeln neue konforme Inferenzmethoden, um Gültigkeitsgarantien für die Ausgaben großer Sprachmodelle (LLMs) zu erhalten. Frühere Arbeiten zum konformen Sprachmodellieren identifizieren eine Teilmenge des Textes, die eine Hochwahrschheitsgarantie für Richtigkeit erfüllt. Diese Methoden funktionieren, indem sie Behauptungen aus der ursprünglichen Antwort des LLM filtern, wenn eine Bewertungsfunktion, die auf die Behauptung angewendet wird, es nicht schafft, einen durch split-konforme Vorhersage kalibrierten Schwellenwert zu überschreiten. Vorhandene Methoden in diesem Bereich leiden unter zwei Defiziten. Erstens, die angegebene Garantie ist nicht bedingt gültig. Die Vertrauenswürdigkeit des Filterungsschrittes kann je nach Thema der Antwort variieren. Zweitens, da die Bewertungsfunktion unvollkommen ist, kann der Filterungsschritt viele wertvolle und präzise Behauptungen entfernen. Wir gehen beide Herausforderungen mithilfe zweier neuer konformer Methoden an. Erstens verallgemeinern wir das bedingt konforme Verfahren von Gibbs et al. (2023), um adaptiv schwächere Garantien auszugeben, wenn sie benötigt werden, um den Nutzen der Ausgabe zu bewahren. Zweitens zeigen wir, wie die Qualität der Bewertungsfunktion systematisch durch einen neuartigen Algorithmus zur Differenzierung durch das bedingt konforme Verfahren verbessert werden kann. Wir demonstrieren die Wirksamkeit unseres Ansatzes sowohl an synthetischen als auch an realen Datensätzen.