表格与大语言模型：大型语言模型能理解结构化表格数据吗？基准测试与实证研究

大型语言模型（LLMs）越来越被认为是解决自然语言（NL）相关任务的优秀少量推理工具。然而，对于LLMs理解结构化数据（如表格）的能力仍有待探索。虽然表格可以通过序列化作为LLMs的输入，但缺乏全面的研究来检验LLMs是否真正理解这些数据。本文通过设计一个基准测试来评估LLMs的结构理解能力（SUC），以此来理解这一问题。我们创建的基准测试包括七个任务，每个任务都有其独特的挑战，如单元查找、行检索和大小检测。我们对GPT-3.5和GPT-4进行了系列评估。我们发现，性能因多种输入选择而异，包括表格输入格式、内容顺序、角色提示和分区标记。基于基准评估获得的见解，我们提出了自我增强的有效结构提示方法，例如使用LLMs内部知识进行关键值/范围识别。当与精心选择的输入选择结合时，这些结构提示方法能在各种表格任务中显著提高LLM的性能，如TabFact（2.31%）、HybridQA（2.13%）、SQA（2.72%）、Feverous（0.84%）和ToTTo（5.68%）。我们相信，我们的开源基准测试（请访问 https://github.com/microsoft/TableProvider 获取代码和数据）和提出的提示方法可以作为未来研究的简单而通用的选择。