CriticBench: Evaluación de LLMs para razonamiento de crítica-corrección

La capacidad de los Modelos de Lenguaje Grande (LLMs) para criticar y refinar su razonamiento es crucial para su aplicación en evaluación, provisión de retroalimentación y auto-mejora. Este documento presenta CriticBench, un marco de referencia integral diseñado para evaluar las habilidades de los LLMs para criticar y rectificar su razonamiento a través de una variedad de tareas. CriticBench abarca cinco dominios de razonamiento: matemático, de sentido común, simbólico, de codificación y algorítmico. Compila 15 conjuntos de datos e incorpora respuestas de tres familias de LLM. Utilizando CriticBench, evaluamos y desglosamos el rendimiento de 17 LLM en generación, crítica y razonamiento de corrección, es decir, razonamiento GQC. Nuestros hallazgos revelan: (1) una relación lineal en las capacidades GQC, con un entrenamiento centrado en la crítica que mejora notablemente el rendimiento; (2) una variación dependiente de la tarea en la efectividad de la corrección, donde las tareas orientadas a la lógica son más susceptibles a la corrección; (3) inconsistencias en el conocimiento GQC que disminuyen a medida que aumenta el tamaño del modelo; y (4) una dinámica intrigante de crítica entre modelos, donde los modelos más fuertes son mejores criticando a los más débiles, mientras que los modelos más débiles pueden, sorprendentemente, superar a los más fuertes en su auto-crítica. Esperamos que estas ideas sobre el matizado razonamiento de crítica-corrección de los LLM fomenten investigaciones adicionales en la crítica y auto-mejora de los LLM.