HypoTermQA : Ensemble de Termes Hypothétiques pour Évaluer la Tendance aux Hallucinations des LLMs

Les hallucinations représentent un défi significatif pour la fiabilité et l'alignement des Grands Modèles de Langage (LLMs), limitant leur acceptation généralisée au-delà des applications de chatbots. Malgré les efforts en cours, les hallucinations restent un défi courant dans les LLMs. La détection des hallucinations elle-même est également une tâche redoutable, nécessitant souvent un étiquetage manuel ou des évaluations contraintes. Cet article présente un cadre automatisé évolutif qui combine l'évaluation des tendances aux hallucinations des LLMs avec une détection efficace des hallucinations. Nous tirons parti des LLMs pour générer des tâches difficiles liées à des phénomènes hypothétiques, les utilisant ensuite comme agents pour une détection efficace des hallucinations. Le cadre est indépendant du domaine, permettant l'utilisation de tout modèle linguistique pour la création ou l'évaluation de benchmarks dans n'importe quel domaine. Nous introduisons le jeu de données d'évaluation HypoTermQA, sur lequel les performances des modèles à la pointe de la technologie variaient entre 3 % et 11 %, et les agents évaluateurs ont montré un taux d'erreur de 6 % dans la prédiction des hallucinations. Le cadre proposé offre des opportunités pour tester et améliorer les LLMs. De plus, il a le potentiel de générer des jeux de données d'évaluation adaptés à des domaines spécifiques, tels que le droit, la santé et la finance.