L1-Norm Batchnormalisierung für effizientes Training tiefer neuronaler Netzwerke

Die Batchnormalisierung (BN) ist kürzlich zu einem Standardbestandteil geworden, um das Training tiefer neuronaler Netzwerke (DNNs) zu beschleunigen und zu verbessern. Allerdings bringt BN zusätzliche Berechnungen mit sich, verbraucht mehr Speicher und verlangsamt die Trainingsiteration erheblich. Darüber hinaus behindern die nichtlinearen Quadrat- und Quadratwurzeloperationen im Normalisierungsprozess Techniken der Quantisierung mit niedriger Bitbreite, was viel Aufmerksamkeit in der Hardware-Community für Deep Learning auf sich zieht. In diesem Papier schlagen wir eine L1-Norm-BN (L1BN) vor, die während des Trainings nur lineare Operationen in der Vorwärts- und Rückwärtspropagation verwendet. L1BN ist ungefähr äquivalent zur herkömmlichen L2-Norm-BN (L2BN), indem ein Skalierungsfaktor multipliziert wird, der gleich (/2) ^1/2 ist. Experimente mit verschiedenen konvolutionalen neuronalen Netzwerken und generativen gegnerischen Netzwerken zeigen, dass L1BN die gleiche Leistung und Konvergenzrate wie L2BN aufrechterhalten kann, jedoch mit höherer Recheneffizienz. In der echten Anwendungs-spezifischen integrierten Schaltkreis-Synthese mit reduzierten Ressourcen erreicht L1BN eine Beschleunigung von 25 % und eine Energieeinsparung von 37 % im Vergleich zur ursprünglichen L2BN. Unsere hardwarefreundliche Normalisierungsmethode übertrifft nicht nur die L2BN in der Geschwindigkeit, sondern vereinfacht auch das Design von Deep Learning-Beschleunigern. Last but not least verspricht L1BN ein vollständig quantisiertes Training von DNNs, was zukünftige Anwendungen der künstlichen Intelligenz auf mobilen Geräten mit Transfer- und kontinuierlicher Lernfähigkeit ermöglicht.