预训练、提示与预测：自然语言处理中的提示方法系统性调查

本文调查并组织了自然语言处理中新范式的研究成果，我们称之为“基于提示的学习”。与传统的监督学习不同，传统监督学习训练模型输入x并预测输出y作为P(y|x)，基于提示的学习是基于直接建模文本概率的语言模型。为了使用这些模型执行预测任务，原始输入x使用模板修改为一个包含一些未填充插槽的文本字符串提示x'，然后使用语言模型以概率方式填充未填充的信息以获得最终字符串x，从中可以推导出最终输出y。这个框架因许多原因而强大且具有吸引力：它允许语言模型在大量原始文本上进行预训练，通过定义新的提示函数，模型能够执行少量样本甚至零样本学习，适应新的场景而几乎没有标记数据。本文介绍了这一有前景范式的基础，描述了一套统一的数学符号，可以涵盖各种现有工作，并沿几个维度组织现有工作，例如预训练模型、提示和调优策略的选择。为了使这个领域对有兴趣的初学者更易于接触，我们不仅对现有工作进行了系统评估和高度结构化的基于提示的概念分类，还发布了其他资源，例如一个网站http://pretrain.nlpedia.ai/，其中包括不断更新的调查和论文列表。