Konfidenz-kalibrierte Halluzinationsreduzierung in RAG-erweiterten LLM-Systemen

Große Sprachmodelle (LLMs) zeigen beeindruckende generative Fähigkeiten, sind aber für den Einsatz in Hochrisikoszenarien unsicher, da sie flüssige, plausible und faktisch inkorrekte Ausgaben produzieren können. Dieses Halluzinationsproblem ist nicht nur ein Genauigkeitsproblem; es ist grundlegend ein Problem der Konfidenzausrichtung. Die rohe Modellkonfidenz ist oft fehlerhaft kalibriert, und die retrieval-augmentierte Generierung (RAG), die das faktische Fundament verbessert, beseitigt das Problem nicht. Unter lärmigen Abrufbedingungen können widersprüchliche oder schwach relevante Dokumente das Übermaß an Vertrauen im Modell verstärken, anstatt es zu verringern. Dieses Papier präsentiert die Konfidenz-kalibrierte Halluzinationsreduzierung (CCHR), eine modellunabhängige Post-Generationsarchitektur zur Verbesserung der Zuverlässigkeit in RAG-unterstützten LLM-Systemen. CCHR integriert die Schätzung der Konfidenz durch mehrere Signale, kontextbewusste Kalibrierung, nutzungsbasierte Aktionsauswahl, Antwortkontrolle, Evaluierung und Online-Lernen in ein einheitliches Framework. Die Architektur schätzt die rohe Konfidenz aus fünf komplementären Signalen, kalibriert diese Konfidenz unter Verwendung der Abrufqualität und des Domänenkontexts, wählt Antwortaktionen durch Maximierung des erwarteten Nutzens anstelle von festen Schwellenwerten aus und verbessert sich kontinuierlich durch explizites, implizites und systemisches Feedback. Das resultierende Framework transformiert eine LLM-Pipeline von einem statischen Generator in ein kalibriertes, selektives und selbstverbesserndes Entscheidungssystem, das für den Unternehmenseinsatz und hochriskante KI-Einsätze geeignet ist.