スケール非連結蒸留

ロジット知識蒸留は、最近の研究における実用性のため、注目を集めています。しかし、特徴知識蒸留と比較して性能が劣ることがよくあります。本論文では、既存のロジットベースの手法が効果的でない可能性があると主張します。なぜなら、それらは複数のセマンティック知識を結合したグローバルロジット出力のみを利用しているためです。これにより、学生にあいまいな知識が転送され、学習が誤導される可能性があります。この目的のために、我々はロジット知識蒸留のためのシンプルだが効果的な手法、すなわちスケール非連結蒸留（SDD）を提案します。SDDは、グローバルロジット出力を複数のローカルロジット出力に分離し、それぞれに蒸留パイプラインを設立します。これにより、学生は詳細であいまいでないロジット知識を採掘し、受け継ぐことができます。さらに、分離された知識は、一貫性のあるロジット知識と補完的なロジット知識にさらに分割することができ、前者はセマンティック情報を、後者はサンプルのあいまいさを転送します。補完部分の重みを増加させることにより、SDDは学生があいまいなサンプルにもっと焦点を当てるように導き、その識別能力を向上させることができます。いくつかのベンチマークデータセットにおける広範な実験により、特に詳細な分類タスクにおいて、広範な教師-学生ペアに対するSDDの効果が実証されています。コードは以下で入手できます: https://github.com/shicaiwei123/SDD-CVPR2024