NUMCoT：链式思维推理中的数字和计量单位 使用大型语言模型

数字系统和计量单位是人类活动中两个密切相关的主题，它们与表达这些主题的语言相互影响。目前，对大型语言模型（LLMs）的评估通常涉及数学推理，但对数字或单位的微小变化如何会极大改变问题的复杂性和LLMs的性能却很少关注。本文通过构建扰动数据集，仔细审视现有LLMs在处理数字和计量单位方面的表现。我们首先将数学文字问题的推理分解为不同的子程序，如从语言到数字的数字转换和基于单位的测量转换。然后，我们进一步注解了来自古代中国算术作品的数学文字问题，这些问题在数字和计量单位方面具有挑战性。在扰动数据集上的实验表明，LLMs在处理数字和测量转换时仍然遇到困难。