LUQ : Quantification de l'incertitude à long texte pour les LLMs

Les grands modèles de langage (LLMs) ont démontré une capacité remarquable dans une variété de tâches de traitement du langage naturel. Cependant, les LLMs sont également susceptibles de générer du contenu non factuel. La quantification de l'incertitude (UQ) est essentielle pour améliorer notre compréhension de la confiance d'un modèle dans sa génération, aidant ainsi à atténuer les sorties non factuelles. Les recherches existantes sur l'UQ ciblent principalement la génération de courts textes, produisant généralement des réponses brèves et limitées en mots. Cependant, les applications du monde réel nécessitent souvent des réponses beaucoup plus longues. Notre étude met d'abord en évidence les limites des méthodes d'UQ actuelles dans le traitement de la génération de longs textes. Nous introduisons ensuite LUQ avec ses deux variations : LUQ-ATOMIC et LUQ-PAIR, une série de nouvelles approches d'UQ basées sur l'échantillonnage spécifiquement conçues pour le long texte. Nos résultats révèlent que LUQ surpasse les méthodes de référence existantes en corrélant avec les scores de factualité du modèle (coefficient négatif de -0,85 observé pour Gemini Pro). Pour améliorer davantage la factualité des réponses des LLM, nous proposons LUQ-ENSEMBLE, une méthode qui regroupe les réponses de plusieurs modèles et sélectionne la réponse avec la plus faible incertitude. La méthode d'ensemblage améliore considérablement la factualité des réponses par rapport au meilleur LLM autonome.