Hybrid Layer-Weise ANN-SNN Mit Surrogat-Spike-Encoding-Decoding-Struktur

Spiking Neural Networks (SNNs) haben sowohl in der computergestützten Neurowissenschaft als auch in der künstlichen Intelligenz aufgrund ihres Potenzials für energieeffizientes Rechnen erheblich an Bedeutung gewonnen. Im Gegensatz dazu zeichnen sich künstliche neuronale Netzwerke (ANNs) durch gradientenbasierte Optimierung und hohe Genauigkeit aus. Dieser Gegensatz hat folglich zu einem wachsenden Teilbereich der hybriden ANN-SNN-Forschung geführt. Bestehende hybride Ansätze basieren jedoch oft entweder auf einer strikten Trennung zwischen ANN- und SNN-Komponenten oder verwenden ausschließlich SNN-Encoder, gefolgt von ANN-Klassifikatoren, aufgrund der Einschränkungen der Nicht-Differenzierbarkeit von Spike-Encoding-Funktionen, was dazu führt, dass frühere hybride Architekturen die tiefe Schicht-weise Kooperation während der Rückpropagation vermissen lassen. Um diese Lücke zu schließen, schlagen wir ein neuartiges hybrides ANN-SNN-Rahmenwerk vor, das schichtweise encode-decode SNN-Blöcke in konventionelle ANN-Pipelines integriert. Zentral für unsere Methode ist die Verwendung von Surrogat-Gradienten für eine bitplane-basierte Spike-Encoding-Funktion, die ein vollständig differenzierbares Training über ANN- und SNN-Schichten ermöglicht. Dieses Design erreicht eine wettbewerbsfähige Genauigkeit im Vergleich zu modernsten reinen ANN- und SNN-Modellen, während es die potenziellen Effizienz- und zeitlichen Repräsentationsvorteile der spiking Berechnung beibehält. Soweit uns bekannt ist, ist dies die erste Implementierung eines Surrogat-Gradienten für die Bit-Plane-Codierung speziell und die Spike-Encoder-Schnittstelle im Allgemeinen, die im Kontext von hybriden ANN-SNN genutzt wird, was erfolgreich zu einer neuen Klasse hybrider Modelle führt, die neue Forschungsrichtungen für die Zukunft ebnen.