Effiziente und genaue Umwandlung von spiking neuronalen Netzwerken mit Burst-Spikes

Spiking neuronale Netzwerke (SNN), als ein gehirninspiriertes, energieeffizientes neuronales Netzwerk, haben das Interesse von Forschern geweckt. Während das Training von spiking neuronalen Netzwerken weiterhin ein offenes Problem darstellt. Ein effektiver Weg besteht darin, das Gewicht eines trainierten ANN auf SNN zu übertragen, um eine hohe Denkfähigkeit zu erreichen. Allerdings leidet das umgewandelte spiking neuronale Netzwerk oft unter Leistungseinbußen und erheblichen Zeitverzögerungen. Um den Inferenzprozess zu beschleunigen und höhere Genauigkeit zu erzielen, analysieren wir theoretisch die Fehler im Umwandlungsprozess aus drei Perspektiven: die Unterschiede zwischen IF und ReLU, die Zeitdimension und die Pooling-Operation. Wir schlagen ein Neuronenmodell zur Freisetzung von Burst-Spikes vor, eine kostengünstige, aber hoch effiziente Methode zur Lösung von Restinformationen. Darüber hinaus wird das Lateral Inhibition Pooling (LIPooling) vorgeschlagen, um das Ungenauigkeitsproblem zu lösen, das durch MaxPooling im Umwandlungsprozess verursacht wird. Experimentelle Ergebnisse zu CIFAR und ImageNet zeigen, dass unser Algorithmus effizient und genau ist. Beispielsweise kann unsere Methode eine nahezu verlustfreie Umwandlung von SNN sicherstellen und verwendet nur etwa 1/10 (weniger als 100) Simulationszeit bei einem Energieverbrauch von 0,693x der typischen Methode. Unser Code ist verfügbar unter https://github.com/Brain-Inspired-Cognitive-Engine/ConversionBurst.