眼见为解：多模态大语言模型、推理与视觉数学中的拒绝

许多中学数学问题依赖图像：图表或图形承载着关键信息。这对于智能辅导和无障碍系统尤为重要，因为系统必须能够基于图形进行推理，并在图形缺失时负责任地拒绝回答。我们评估了六种当代多模态大语言模型（MLLMs）——三种具有推理能力的模型和三种无推理能力的模型——在376个标记为图像角色“必需”的Illustrative Mathematics（IM）题目上的表现（这些图形包含文本无法恢复的任务关键信息，除非附加假设）。每个模型在共享的提示和评分协议下，每个题目试答三次，分别有图和无图。为减少图像角色标签的主观性，我们将那些仅凭文本无需额外假设即可解决的题目归类为“非必需”。有图情况下，表现最好的推理模型准确率达到中50%范围，而无推理模型则在中30%到低40%之间。无图情况下，模型大多选择拒答而非猜测，偶有偶然正确答案。模型对哪些题目可解表现出中等一致性，我们发布了两组在模型间一致解决的基准子集。对83个题目的定性审计显示，视觉误读是无推理模型的主要失败模式，而推理模型更常给出正确答案并附有充分解释。这些结果表明，辅导系统应根据视觉证据的可用性来控制自动评分和学习者模型的更新，并使用需明确绑定视觉证据的辅助工具，随后进行代数推导。针对无障碍需求，系统应将无图拒答视为缺失上下文的信号，并请求获取图形或结构化描述，从而支持描述替代实验。我们发布了代码、提示和摘要资料以便复现。代码与数据：https://osf.io/ct7bg/