膜電位ダイナミクスを利用したスパイキングニューラルネットワークのための適応勾配学習

最近の進展は、サロゲート勾配（SG）学習として知られる、一定のシャープネスを持つ連続関数を通じてスパイキング活動の近似勾配を推定することによって、高性能なスパイキングニューラルネットワーク（SNN）を直接トレーニングすることに焦点を当てています。しかし、スパイクがニューロン内および層間で伝播するにつれて、膜電位ダイナミクス（MPD）の分布は固定SGの勾配利用可能 interval から逸脱し、SNNが最適な解空間を探るのを妨げます。勾配フローの安定性を維持するために、SGは進化するMPDと整合する必要があります。ここでは、MPDを利用したSNNのための新しい適応勾配学習、すなわちMPD-AGLを提案します。これは、膜電位のシフトに寄与する基礎要因を完全に考慮し、異なるタイムステップにおけるSGとMPDの動的関連を確立して勾配推定を緩和し、SG学習の自由度を新たに提供します。実験結果は、私たちの方法が低レイテンシーで優れた性能を達成することを示しています。さらに、固定SGと比較して、勾配利用可能 interval に入るニューロンの割合を増加させ、勾配消失問題を効果的に軽減します。コードはhttps://github.com/jqjiang1999/MPD-AGLで入手可能です。