ReffAKD：资源高效的基于自编码器的知识蒸馏

在本研究中，我们提出了一种创新的方法，以提高知识蒸馏的效率，而无需资源消耗巨大的教师模型。知识蒸馏通过较大的“教师”模型指导较小的“学生”模型进行训练，这在计算上是昂贵的。然而，主要的好处来自教师提供的软标签，帮助学生掌握微妙的类别相似性。在我们的工作中，我们提出了一种高效的方法来生成这些软标签，从而消除了对大型教师模型的需求。我们采用紧凑的自编码器提取基本特征，并计算不同类别之间的相似性分数。随后，我们对这些相似性分数应用softmax函数，以获得一个软概率向量。这个向量在学生模型的训练过程中提供了宝贵的指导。我们在包括CIFAR-100、Tiny Imagenet和Fashion MNIST在内的各种数据集上进行了广泛实验，证明我们的方法在资源效率上优于依赖大型教师模型的传统知识蒸馏方法。重要的是，我们的方法在模型准确性方面始终实现了相似甚至更优的性能。我们还与最近开发的多种知识蒸馏技术进行了比较研究，显示我们的方法在使用显著更少资源的情况下，取得了具有竞争力的性能。我们还表明，我们的方法可以轻松地添加到任何基于logit的知识蒸馏方法中。本研究有助于使知识蒸馏在实际应用中变得更易于访问和具有成本效益，为提高模型训练效率开辟了一个有前景的途径。该工作的代码可在此处访问：https://github.com/JEKimLab/ReffAKD。