Verwirrung wird häufig als Proxy für die Erkennung außerhalb der Verteilung (ood) in großen Sprachmodellen verwendet, unter der Annahme, dass unbekannte Eingaben einen höheren Verlust hervorrufen. Wir zeigen, dass diese Annahme einen strukturellen blinden Fleck hat: Bereiche, in denen das Modell fließend ist, aber die Eingabe nicht zur Aufgabendistribution gehört. Konkret evaluieren wir LLaMA-3-8B und Mistral-7B bei einer Mathematik-Argumentationsaufgabe mit fünf ood-Domänen. Code-Snippets erzeugen eine Verwirrung, die niedriger ist als bei In-Distribution Mathematik (2.57 vs. 2.76 für LLaMA), trotzdem kollabiert die intrinsische Dimension der verborgenen Zustände von 34 auf 4—eine Reduktion um das 8,5-fache. Verwirrung erreicht AUROC 0.352 (LLaMA) und 0.150 (Mistral) bei Code, was schlechter als zufällig ist. Im Gegensatz dazu erreichen die intrinsische Dimension und die Mahalanobis-Distanz AUROC 1.000 über alle ood-Kategorien in beiden Modellen. Die Diskrepanz ist über fünf Transformator-Ebenen hinweg konsistent und robust gegenüber der Gleichstellung der Stichprobengröße. Unsere Ergebnisse zeigen, dass Verwirrung die Fließfähigkeit des Modells misst, nicht die Zugehörigkeit zur Aufgabendistribution, und dass geometrische
Jesus Tabares Montilla (Sun,) untersuchte diese Frage.