November 8, 2025Open Access

Evaluierung von Methoden zur Quantifizierung von Unsicherheiten in argumentativen großen Sprachmodellen

Key Points

Direkte Eingaben verbesserten die Leistung bei der Überprüfung von Ansprüchen und verbesserten die Praktiken zur Quantifizierung von Unsicherheiten.
Insgesamt variiert die Effektivität der Methoden zur Quantifizierung von Unsicherheiten, was die Notwendigkeit robuster Bewertungen im Kontext von LLMs hervorhebt.
Experimente bewerteten UQ-Strategien im Rahmen von argumentativen großen Sprachmodellen für die Entscheidungsfindung.
Die Ergebnisse unterstützen die Vorstellung, dass einfache Strategien möglicherweise bessere Ergebnisse als komplexe Ansätze in LLM-Anwendungen liefern.

Abstract

Die Forschung zur Quantifizierung von Unsicherheiten (UQ) für große Sprachmodelle (LLMs) wird zunehmend wichtig, um die Zuverlässigkeit dieser bahnbrechenden Technologie zu garantieren. Wir untersuchen die Integration von UQ-Methoden in argumentativen LLMs (ArgLLMs), einem erklärbaren LLM-Rahmenwerk für Entscheidungsfindungen, das auf computergestützter Argumentation basiert, wobei UQ eine entscheidende Rolle spielt. Wir führen Experimente durch, um die Leistung von ArgLLMs bei der Überprüfung von Ansprüchen mit verschiedenen UQ-Methoden zu bewerten, wobei wir gleichzeitig eine Bewertung der Effektivität der UQ-Methoden durchführen. Darüber hinaus ist das experimentelle Verfahren selbst eine neuartige Möglichkeit, die Effektivität von UQ-Methoden zu bewerten, insbesondere bei komplexen und potenziell umstrittenen Aussagen. Unsere Ergebnisse zeigen, dass direkte Eingaben trotz ihrer Einfachheit eine effektive UQ-Strategie in ArgLLMs darstellen und erheblich komplexere Ansätze übertreffen.

Evaluierung von Methoden zur Quantifizierung von Unsicherheiten in argumentativen großen Sprachmodellen

Key Points

Abstract

Cite This Study

Also Consider

Also Consider