图形感受变换器编码器用于文本分类

通过采用注意机制，变换器在几乎所有自然语言处理任务中取得了巨大的进步，包括文本分类。然而，变换器的注意机制的上下文仅限于单一序列，且其微调阶段只能利用归纳学习。通过将文本表示为图形，从而关注更广泛的上下文，以前的研究已将变换器模型推广到图形领域，以便使用超越单一序列的注意机制。然而，这些方法要么需要耗时的预训练阶段，要么仅仅学习转换式，要么可以在不使用预训练模型的情况下进行归纳学习。为了解决这些问题，我们提出了图形感受变换器编码器（GRTE），它将图形神经网络（GNNs）与大型预训练模型结合起来，以归纳和转导的方式进行文本分类。通过在给定语料上构建异构和同构图形，并且不需要预训练阶段，GRTE能够利用来自大型预训练模型和图结构关系的信息。我们提出的方法检索文档中的全局和上下文信息，并生成词嵌入作为归纳推理的副产品。我们通过综合实验将提出的GRTE与一系列基线模型进行了比较。与最先进的技术相比，我们证明了GRTE提高了模型性能，并提供了高达∼100倍的计算节省。