Training tiefer spikender Convolutional Neural Networks mit STDP-basiertem unüberwachtem Pre-Training, gefolgt von überwachten Feinabstimmungen

Spiking Neural Networks (SNNs) werden zunehmend zu einem vielversprechenden Kandidaten für hirn-inspirierte neuromorphe Rechenverfahren aufgrund ihrer inhärenten Energieeffizienz und beeindruckenden Inferenzgenauigkeit bei verschiedenen kognitiven Aufgaben wie Bildklassifizierung und Spracherkennung. Die jüngsten Bemühungen im Bereich der SNNs konzentrierten sich auf die Implementierung tieferer Netzwerke mit mehreren verborgenen Schichten, um exponentiell schwierigere funktionale Darstellungen zu integrieren. In diesem Papier schlagen wir ein Pre-Training-Schema vor, das biologisch plausible unüberwachte Lernmethoden verwendet, nämlich Spike-Timing-Dependent-Plasticity (STDP), um die Parameter in mehrschichtigen Systemen vor der Überwachung zu optimieren, besser zu initialisieren. Das mehrschichtige SNN besteht aus abwechselnden Faltungsschichten und Pooling-Schichten, gefolgt von voll verbundenen Schichten, die mit leaky integrate-and-fire spikenden Neuronen bevölkert sind. Wir trainieren die tiefen SNNs in zwei Phasen, in denen zunächst die Faltungskerne schichtweise mit unüberwachtem Lernen vortrainiert und anschließend die synaptischen Gewichte mit spikebasiertem, überwachtem gradientenabsteigenden Backpropagation feinjustiert werden. Unsere Experimente zur Ziffernerkennung zeigen, dass das STDP-basierte Pre-Training mit gradientenbasierter Optimierung verbesserte Robustheit, schnellere (~2,5 ×) Trainingszeit und bessere Verallgemeinerung im Vergleich zu rein gradientenbasiertem Training ohne Pre-Training bietet.