Les modèles de langage calibrés doivent halluciner

Les récents modèles de langage génèrent fréquemment des textes faussement plausibles. Ces « hallucinations » sont un obstacle à l'utilisabilité des systèmes d'IA basés sur le langage et peuvent nuire aux personnes qui se fient à leurs résultats. Ce travail montre qu'il existe une limite statistique inférieure inhérente au taux auquel les modèles de langage préentraînés hallucinent certains types de faits, sans lien avec l'architecture du LM transformer ni la qualité des données. Pour les faits « arbitraires » dont la véracité ne peut être déterminée à partir des données d'entraînement, nous montrons que les hallucinations doivent survenir à un certain taux pour les modèles de langage qui satisfont une condition de calibration statistique adaptée aux modèles génératifs. Plus précisément, si la probabilité maximale de tout fait est bornée, nous montrons que la probabilité de générer une hallucination est proche de la fraction des faits apparaissant exactement une fois dans les données d'entraînement (une estimation dite « Good-Turing »), même en supposant des données d'entraînement idéales sans erreurs. Une conclusion est que les modèles préentraînés pour être suffisamment de bons prédicteurs (c.-à-d. calibrés) peuvent nécessiter un post-entraînement pour atténuer les hallucinations sur le type de faits arbitraires tendant à apparaître une seule fois dans le jeu d'entraînement. Cependant, notre analyse suggère également qu'il n'y a aucune raison statistique que le préentraînement mène à des hallucinations sur des faits apparaissant plus d'une fois dans les données (comme les références à des publications telles que articles et livres, dont les hallucinations ont été particulièrement notables et problématiques) ou sur des faits systémiques (comme les calculs arithmétiques). Par conséquent, différentes architectures et algorithmes d'apprentissage peuvent atténuer ces derniers types d'hallucinations.