グラフに基づく知識の探求：チャネル関係グラフによる多層特徴蒸留

視覚的タスクにおいて、大規模な教師モデルは本質的な特徴と深い情報をキャッチし、パフォーマンスを向上させます。しかし、この情報を小さい学生モデルに蒸留すると、構造的な違いや能力の制限によりしばしばパフォーマンスの損失が発生します。これに対処するために、私たちはグラフ知識に基づく蒸留フレームワークを提案し、多層特徴整合戦略と注意に基づくメカニズムを含めて、学生モデルのためのターゲット学習経路を提供します。私たちは、スペクトル埋め込み（SE）を蒸留プロセスの重要な技術として強調し、学生の特徴空間を教師ネットワークと類似の関係知識および構造的複雑さと統合します。この方法は、教師の理解をグラフベースの表現で捉え、学生モデルが教師モデル内に存在する複雑な構造的依存関係をより正確に模倣できるようにします。特定の蒸留領域にのみ焦点を当てた方法と比較して、私たちの戦略は教師モデル内の重要な特徴を考慮するだけでなく、特徴セット間の関係と相互作用を捉えることにも努め、これらの情報の動的な関係をグローバルな観点から理解し利用できるように、これらの複雑な情報をグラフ構造にエンコードします。実験結果は、私たちの方法がCIFAR-100、MS-COCO、およびPascal VOCデータセットにおいて以前の特徴蒸留方法を上回ることを示しており、その効率性と適用性を証明しています。