基于提示学习的短文本分类

在短文本中，极短的长度、特征稀疏性和高度歧义性给分类任务带来了巨大挑战。近年来，提示学习（prompt-learning）作为一种针对特定下游任务微调预训练语言模型（Pre-trained Language Models）的有效方法，吸引了广泛的关注和研究。提示学习背后的核心思路是将模板插入输入中，并将任务转换为等价的完形填空式任务。然而，大多数提示学习方法在完形填空式预测中仅考虑类别名称以及单一的知识融入策略，这在短文本分类任务中不可避免地会导致信息遗漏和偏差。在本文中，我们提出了一种基于提示学习的短文本分类方法。具体而言，从 Probase 等开放知识图谱中检索与短文本中实体相关的前 M 个概念，首先根据与类别标签的距离筛选这些概念，从而在扩展标签词空间时兼顾短文本本身和类别名称。随后，我们实施了四种额外的策略来整合扩展的概念，并最终在提示学习的 verbalizer 中采用这些概念的并集。实验结果表明，在五个知名数据集上，与其它最先进的方法相比均取得了显著提升。