用于少样本细粒度分类的双向集成特征重建网络

细粒度少样本图像分类的主要挑战在于在仅有少量标记样本的情况下，学习具有更高类间变异和更低类内变异的特征表示。然而，传统的少样本学习方法并不能简单地应用于这一细粒度设置——一项快速的初步研究显示，它们实际上推动了相反的方向（即，降低类间变异和提高类内变异）。为了解决这个问题，之前的工作主要使用支持集重建查询图像，然后利用度量学习确定其类别。经过仔细检查，我们进一步揭示出这种单向重建方法仅有助于增加类间变异，而在处理类内变异上并不有效。在本文中，我们引入了一种双重重建机制，可以同时适应类间和类内变异。在使用支持集重建查询集以增加类间变异的同时，我们还使用查询集重建支持集以减少类内变异。这种设计有效地帮助模型探索更细微和可区分的特征，这对手头的细粒度问题至关重要。此外，我们还构建了一个自重建模块，与双向模块协同工作，使特征更加可区分。我们在情景学习策略中引入了快照集成方法——这是一种进一步提高模型性能而不增加训练成本的简单技巧。在三个广泛使用的细粒度图像分类数据集以及一般和跨领域的少样本图像数据集上的实验结果，与其他方法相比，均显示出显著的改善。