Descomponiendo el Espacio de Etiquetas, Formato y Discriminación: Repensando Cómo los LLMs Responden y Resuelven Tareas a través del Aprendizaje In-contexto

El Aprendizaje In-contexto (ICL) ha surgido como una capacidad poderosa junto con el desarrollo de grandes modelos de lenguaje (LLMs) a gran escala. Al instruir a los LLMs utilizando ejemplos demostrativos de pocos disparos, el ICL les permite realizar una amplia gama de tareas sin actualizar millones de parámetros. Sin embargo, las contribuciones precisas de las demostraciones para mejorar el rendimiento en tareas finales no se han investigado a fondo en estudios analíticos recientes. En este documento, descomponemos empíricamente el rendimiento general del ICL en tres dimensiones: espacio de etiquetas, formato y discriminación, y evaluamos cuatro LLMs de propósito general en una amplia variedad de tareas. De manera contraintuitiva, encontramos que las demostraciones tienen un impacto marginal en provocar conocimiento discriminativo de los modelos de lenguaje. Sin embargo, el ICL exhibe una eficacia significativa en la regulación del espacio de etiquetas y formato, lo que ayuda a los LLMs a responder con las palabras de etiqueta deseadas. Luego demostramos que esta capacidad funciona de manera similar a instrucciones detalladas para seguir por parte de los LLMs. Además, proporcionamos un análisis profundo del mecanismo de recuperación que ayuda con el ICL y encontramos que recuperar los ejemplos más semánticamente similares aumenta notablemente la capacidad discriminativa del modelo.