De la predicción de palabras a habilidades complejas: pensamiento composicional y metacognición en los LLMs

La charla presentará evidencia de que los modelos de lenguaje grandes (LLMs) de hoy muestran una "comprensión" un poco más profunda de lo que se podría esperar ingenuamente. 1. Al ser solicitados a resolver una tarea combinando un conjunto de k habilidades más simples ("prueba de capacidad composicional"), son capaces de hacerlo a pesar de no haber visto la misma combinación de habilidades durante su entrenamiento. 2. Demuestran la capacidad de razonar sobre sus propios procesos de aprendizaje, lo cual es análogo al "conocimiento metacognitivo" Flavel'76 en humanos. Por ejemplo, dados ejemplos de una tarea de evaluación, pueden producir un catálogo de habilidades adecuadamente nominadas que son relevantes para resolver cada ejemplo de esa tarea. Además, este catálogo de habilidades es significativo, en el sentido de que incorporarlo en los pipelines de entrenamiento mejora el rendimiento (incluyendo otros LLMs no relacionados) en esa tarea. Discutimos los mecanismos por los cuales podría surgir tal comprensión compleja (incluyendo una teoría de Arora, Goyal'23 que intenta explicar (a)) y también damos ejemplos de cómo aprovechar el conocimiento meta de los LLM para mejorar los pipelines de entrenamiento de LLM así como las evaluaciones.