从图卷积网络中提取知识

现有的知识蒸馏方法主要集中在卷积神经网络（CNN）上，其中输入样本如图像位于网格域中，且在很大程度上忽视了处理非网格数据的图卷积网络（GCN）。在本文中，我们提出了我们所知的第一个专门的从预训练的GCN模型中蒸馏知识的方法。为了实现教师GCN到学生之间的知识转移，我们提出了一个局部结构保留模块，该模块明确考虑教师的拓扑语义。在该模块中，从教师和学生提取的局部结构信息作为分布被提取，从而最小化这些分布之间的距离，实现教师的拓扑感知知识转移，从而产生一个紧凑但高性能的学生模型。此外，所提方法可以方便地扩展到动态图模型中，其中教师和学生的输入图可能不同。我们在两个不同的数据集上使用不同架构的GCN模型评估了所提方法，并证明我们的方法在GCN模型上实现了最先进的知识蒸馏性能。