Wenn Unternehmen operationale Systeme von regelbasierten Klassifikatoren zu von großen Sprachmodellen (LLM) betriebenen Agenten migrieren, verändert sich die Struktur und das statistische Verhalten der resultierenden Betriebsdaten auf Weise, die von standardisierten Modellbewertungsrahmen nicht erfasst wird. Die Absichtstaxonomien verändern sich, die Vertrauensverteilungen verschlechtern sich, die Fallback-Raten steigen und die Antwortlatenz nimmt zu; dennoch konzentrieren sich die meisten Bewertungsansätze auf die individuelle Antwortqualität, anstatt auf die Zuverlässigkeit der zugrunde liegenden Daten für nachgelagerte Analytik und Unternehmensberichterstattung. Dieses Papier präsentiert einen Drift-Erkennungsrahmen zur Überwachung von KI-generierten Betriebsdaten in Unternehmenssystemen. Der Rahmen bewertet vier Zuverlässigkeitsdimensionen: Drift der Absichtstaxonomie (Jensen-Shannon-Divergenz), Shift der Vertrauensscore-Verteilung (Kolmogorov-Smirnov-Test), Instabilität von Fallback und Latenz sowie BI-Bereitschaft. Ein gewichteter Aggregator produziert einen Zuverlässigkeitswert von 0 bis 100 und ein dreistufiges Urteil (Bereit, Vorsicht, Nicht bereit). Eine LLM-Interpretationsebene generiert operationale Narrative für Data-Engineering-Teams. Der Rahmen wird anhand kontrollierter Drift-Szenarien auf synthetischen Unternehmensagentenprotokollen bewertet und auf dem öffentlichen BANKING77-Dataset (10.003 Datensätze, 77 Absichten) validiert. Die Ergebnisse zeigen monotone steigende Drift-Signale über alle Metriken, während der injizierte Drift von 0 % auf 50 % ansteigt, wobei die Urteile des Rahmens korrekt von Bereit auf Nicht bereit eskalieren. Alle Codes und Daten sind öffentlich verfügbar.
Ritika De (Sat,) hat diese Frage untersucht.