Halluzinationserkennung: Zuverlässige Antworten in großen Sprachmodellen robust unterscheiden

Große Sprachmodelle (LLMs) haben in verschiedenen Aufgaben der natürlichen Sprachverarbeitung, einschließlich der Fragebeantwortung und Dialogsysteme, breite Akzeptanz gefunden. Ein wesentlicher Nachteil von LLMs ist jedoch das Problem der Halluzination, bei dem sie untreue oder inkonsistente Inhalte erzeugen, die von der ursprünglichen Quelle abweichen, was schwerwiegende Folgen haben kann. In diesem Papier schlagen wir einen robusten Diskriminator namens RelD vor, um Halluzinationen in den von LLMs generierten Antworten effektiv zu erkennen. RelD wird auf dem konstruierten RelQA, einem zweisprachigen Frage-Antwort-Datensatz für Dialoge, zusammen mit Antworten, die von LLMs generiert wurden, und einem umfassenden Satz von Metriken trainiert. Unsere experimentellen Ergebnisse zeigen, dass der vorgeschlagene RelD erfolgreich Halluzinationen in den von verschiedenen LLMs generierten Antworten erkennt. Außerdem schneidet er gut darin ab, Halluzinationen in den von LLMs generierten Antworten sowohl aus In-Verteilung- als auch aus Aus-Verteilung-Datensätzen zu unterscheiden. Darüber hinaus führen wir auch eine gründliche Analyse der Arten von Halluzinationen durch, die auftreten, und präsentieren wertvolle Einblicke. Diese Forschung trägt erheblich zur Erkennung zuverlässiger Antworten bei, die von LLMs generiert werden, und hat bemerkenswerte Auswirkungen auf die Minderung von Halluzinationen in zukünftigen Arbeiten.