Evaluación Automática de Atribución por Modelos de Lenguaje Grande

Un enfoque reciente en el desarrollo de modelos de lenguaje grande (LLM), como lo ejemplifican los motores de búsqueda generativos, es incorporar referencias externas para generar y respaldar sus afirmaciones. Sin embargo, evaluar la atribución, es decir, verificar si la afirmación generada está completamente respaldada por la referencia citada, sigue siendo un problema abierto. Aunque la evaluación humana es una práctica común, es costosa y consume mucho tiempo. En este artículo, investigamos la evaluación automática de la atribución dada por los LLMs. Comenzamos definiendo diferentes tipos de errores de atribución y luego exploramos dos enfoques para la evaluación automática: la inducción de solicitudes a los LLMs y el ajuste fino de modelos de lenguaje más pequeños. Los datos de ajuste fino se reutilizan de tareas relacionadas como la respuesta a preguntas, verificación de hechos, inferencia de lenguaje natural y resumen. Creamos manualmente un conjunto de ejemplos de prueba que cubren 12 dominios de un motor de búsqueda generativo, New Bing. Nuestros resultados en este conjunto de pruebas curado y ejemplos simulados de puntos de referencia existentes destacan tanto señales prometedoras como desafíos. Esperamos que nuestra formulación del problema, bancos de pruebas y hallazgos ayuden a sentar las bases para futuros estudios sobre este importante problema.