時間空間的一貫性に基づく自己蒸留学習による脳神経ネットワークのためのスパイキングニューロンネットワーク

スパイキングニューロンネットワーク（SNN）は、そのイベント駆動型、低消費電力特性および高い生物学的解釈性からかなりの注目を集めています。知識蒸留（KD）に触発されて、最近の研究では、事前訓練された教師モデルを用いてSNNモデルの性能を向上させています。しかし、追加の教師モデルはかなりの計算資源を必要とし、適切な教師ネットワークアーキテクチャを手動で定義するのは煩雑です。本論文では、これらの懸念を回避するために、SNNの費用対効果の高い自己蒸留学習を探求します。明示的に定義された教師なしで、SNNは擬似ラベルを生成し、訓練中に一貫性を学習します。一方では、訓練中にSNNのタイムステップを延長して、元の「生徒」、すなわち時間的自己蒸留を学習する「教師」をガイドする暗黙的な時間的「教師」を作成します。他方では、中間段階での弱分類器の出力をSNNの最終出力によってガイドします。すなわち、空間的自己蒸留です。我々の時間空間的自己蒸留（TSSD）学習法は、推論オーバーヘッドを導入せず、優れた一般化能力を持っています。静的画像データセットCIFAR10/100およびImageNet、および神経形態データセットCIFAR10-DVSおよびDVS-Gestureに関する広範な実験が、TSSD法の優れた性能を検証しています。本論文は、SNNとKDを融合させる新しい方法を提示し、高性能SNN学習法に関する洞察を提供します。