Perdidos en el Medio: Cómo los Modelos de Lenguaje Usan Contextos Largos

Resumen Aunque los modelos de lenguaje recientes tienen la capacidad de procesar contextos largos como entrada, se sabe relativamente poco sobre qué tan bien utilizan contextos más extensos. Analizamos el rendimiento de los modelos de lenguaje en dos tareas que requieren identificar información relevante en sus contextos de entrada: respuesta a preguntas de múltiples documentos y recuperación clave-valor. Encontramos que el rendimiento puede degradarse significativamente al cambiar la posición de la información relevante, lo que indica que los modelos de lenguaje actuales no utilizan de forma robusta la información en contextos largos de entrada. En particular, observamos que el rendimiento es a menudo más alto cuando la información relevante aparece al principio o al final del contexto de entrada, y se degrada significativamente cuando los modelos deben acceder a información relevante en el medio de contextos largos, incluso para modelos explícitamente diseñados para contextos largos. Nuestro análisis ofrece una mejor comprensión de cómo los modelos de lenguaje utilizan su contexto de entrada y proporciona nuevos protocolos de evaluación para futuros modelos de lenguaje con contextos largos.