Initialisierungssamen zur Erleichterung der Quantisierung von neuronalen Netzwerken

Die Quantisierung von Netzwerken verspricht, die Speicher- und Bereitstellungsanforderungen für tiefe neuronale Netzwerke zu verringern. Bestehende Methoden konzentrieren sich jedoch darauf, die Netzwerkparameter direkt zu quantisieren, ignorieren allerdings die Korrelationen zwischen den initialisierten Parametern (die durch Zufallsbedingungen erzeugt werden) und den optimierten Parametern (die beim Konvergieren des Netzwerktrainings erhalten werden). In dieser Arbeit zeigen wir die Redundanz zwischen den initialisierten und optimierten Parametern auf und schlagen ein neuartiges Quantisierungsschema für Netzwerkparameter mit skalierten Initialisierungen vor. Wir entwickeln ein neuartiges Quantisierungsschema zur Quantisierung der Delta-Parameter, d.h. der Differenz zwischen den optimierten Parametern und der skalierten Initialisierung, wie in Abbildung 1 dargestellt. Die Skalierung wird erlernt, um die Gewicht-Regularisierung im Training anzupassen, indem der Rundungsfehler minimiert und die langschwänzige Verteilung des Delta-Parameters bestraft wird. Adaptive Rundung wird weiter vorgestellt, um die Rundungsrichtung des Delta-Parameters über einen lernbaren Bias zu kalibrieren. Die vorgeschlagene Methode kann eine hocheffiziente Vorhersage der Netzwerkparameter und konsistente Leistungsverbesserungen mit einem trivialen Overhead eines einzelnen Zufallsconditions erreichen. Umfangreiche experimentelle Ergebnisse zeigen ihre überlegene Leistung bei verschiedenen beliebten Netzwerkarchitekturen, wie in Tabelle 1 veranschaulicht.