Zwei zentrale Fähigkeiten von Sprachmodellen (LMs) sind: (i) auf Vorwissen über Entitäten zurückzugreifen, das es ihnen erlaubt, Anfragen wie "Was ist die Amtssprache von Österreich?" zu beantworten, und (ii) sich an neue Informationen im Kontext anzupassen, z. B. "Stell dir vor, die Amtssprache von Österreich ist Tagalog.", das der Frage vorangestellt wird. In diesem Artikel stellen wir den Targeted Persuasion Score (TPS) vor, der entwickelt wurde, um zu quantifizieren, wie überzeugend ein gegebener Kontext für ein LM ist, wobei Überzeugung als die Fähigkeit des Kontextes operationalisiert wird, die Antwort des LMs auf die Frage zu verändern. Im Gegensatz zur Bewertung der Überzeugungskraft nur durch Inspektion der gierig dekodierten Antwort unter dem Modell bietet TPS eine detailliertere Sicht auf das Verhalten des Modells. Basierend auf der Wasserstein-Distanz misst TPS, wie sehr ein Kontext die ursprüngliche Antwortverteilung des Modells in Richtung einer Zielverteilung verschiebt. Empirisch zeigen wir durch eine Reihe von Experimenten, dass TPS ein nuancierteres Verständnis von Überzeugungskraft erfasst als zuvor vorgeschlagene Metriken.
Nguyen et al. (Mon,) untersuchten diese Frage.