Avaliação do Raciocínio Matemático de Modelos de Linguagem Grandes: Foco na Identificação e Correção de Erros

O rápido avanço dos Modelos de Linguagem Grandes (LLMs) no campo do raciocínio matemático exige avaliações abrangentes para medir o progresso e inspirar direções futuras. As avaliações existentes predominantemente focam na resolução de problemas a partir da perspectiva do examinado, negligenciando uma perspectiva dual do examinador em relação à identificação e correção de erros. Da perspectiva do examinador, definimos quatro tarefas de avaliação para identificação e correção de erros, juntamente com um novo conjunto de dados com tipos de erros e etapas anotados. Também projetamos diversas solicitações para avaliar minuciosamente onze LLMs representativos. Nossos principais achados indicam que o GPT-4 supera todos os modelos, enquanto o modelo de código aberto LLaMA-2-7B demonstra habilidades comparáveis aos modelos de código fechado GPT-3.5 e Gemini Pro. Notavelmente, o erro de cálculo se revela o tipo de erro mais desafiador. Além disso, solicitar aos LLMs os tipos de erros pode melhorar a precisão média de correção em 47,9%. Esses resultados revelam direções potenciais para o desenvolvimento das habilidades de raciocínio matemático dos LLMs. Nosso código e conjunto de dados estão disponíveis em https://github.com/LittleCirc1e/EIC.