Key points are not available for this paper at this time.
Les systèmes de génération augmentée par récupération (RAG) sont devenus essentiels pour améliorer les capacités des modèles de langage en intégrant des mécanismes de récupération de connaissances externes. Cependant, un défi majeur dans le déploiement de ces systèmes dans les applications industrielles est la détection et l'atténuation des hallucinations : des instances où le modèle génère des informations qui ne sont pas ancrées dans le contexte récupéré. S'attaquer à ce problème est crucial pour garantir la fiabilité et l'exactitude des réponses générées par de grands modèles de langage (LLMs) dans divers environnements industriels. Les techniques actuelles de détection des hallucinations n'arrivent pas à offrir simultanément précision, faible latence et faible coût. Nous introduisons Luna : un encodeur DeBERTA-large (440M), affiné pour la détection des hallucinations dans les contextes RAG. Nous démontrons que Luna surpasse GPT-3.5 et les cadres d'évaluation commerciaux sur la tâche de détection des hallucinations, avec des réductions respectives de 97 % et 91 % en coût et en latence. Luna est léger et se généralise à travers plusieurs secteurs industriels et des données hors domaine, ce qui en fait un candidat idéal pour les applications industrielles des LLM.
Belyi et al. (Mon,) ont étudié cette question.