Mitigando las alucinaciones en modelos de lenguaje multimodal grandes (MLLMs) a través de la optimización de preferencias consciente del objeto

Los modelos de lenguaje multimodal grandes (MLLMs) surgen como una interfaz unificada para abordar una multitud de tareas, que van desde el procesamiento del lenguaje natural (NLP) hasta la visión por computadora. A pesar de mostrar resultados de vanguardia en muchos benchmarks, un problema persistente es la tendencia de los MLLMs a alucinar, es decir, a generar respuestas a la consulta del usuario que no se ven reflejadas en la entrada visual. En este artículo, abordamos el problema de las alucinaciones como un problema de alineación, buscando dirigir el MLLM para que prefiera generar contenido sin alucinaciones. En contraste con enfoques recientes que requieren canalizaciones complicadas para construir datos de preferencia sintética para el entrenamiento de alineación, a menudo dependiendo de modelos propietarios, capitalizamos la conocida métrica CHAIR, originalmente propuesta para medir el grado de alucinaciones en la subtitulación de imágenes. Dada una pareja de respuestas generadas, aprovechamos CHAIR para distinguir entre opciones ganadoras y perdedoras (es decir, muestras no alucinadas y alucinadas) y afinamos modelos MLLM disponibles a través de la Optimización de Preferencias Directas (DPO). El método resultante, al que nos referimos como CHAIR-DPO, reduce efectivamente la cantidad de respuestas alucinadas en varios benchmarks de alucinaciones, demostrando la efectividad de afinar el MLLM con una recompensa basada en CHAIR. El código fuente y los modelos entrenados están disponibles públicamente en https://github.com/aimagelab/CHAIR-DPO.