Exploiter le RLHF pour une reconnaissance robuste de l'irrépondabilité et une génération de réponses fiables dans les LLM

Les systèmes de recherche d'information conversationnelle (CIR), tout en offrant un accès intuitif à l'information, font face à un défi majeur : gérer de manière fiable les questions sans réponse afin d'éviter la génération de contenu trompeur ou halluciné. Les approches traditionnelles dépendent souvent de classificateurs externes, ce qui peut introduire des incohérences avec les modèles génératifs principaux de grands modèles linguistiques (LLM). Cet article présente Self-Aware LLM for Unanswerability (SALU), une approche novatrice qui intègre profondément la détection de l'irrépondabilité directement dans le processus génératif du LLM. SALU est entraîné via un cadre d'apprentissage multitâche pour le questionnement standard (QA) ainsi que la génération explicite d'abstention pour les questions sans réponse. Il incorpore de manière cruciale une phase d'apprentissage par renforcement guidée par le score de confiance avec retour humain (RLHF), qui pénalise explicitement les réponses hallucinéess et récompense les abstention appropriées, favorisant une conscience intrinsèque des limites de connaissances. Grâce à des expériences approfondies sur notre jeu de données personnalisé C-IRAnswerability, SALU surpasse systématiquement des bases solides, y compris les systèmes hybrides LLM-classificateur, en précision globale pour répondre correctement ou s'abstenir des questions. L'évaluation humaine confirme en outre la supériorité de SALU en fiabilité, obtenant des scores élevés en factualité, abstention appropriée et, surtout, une réduction spectaculaire des hallucinations, démontrant sa capacité à savoir robustement « quand dire 'je ne sais pas' ».