Modellkompression und -beschleunigung für tiefe neuronale Netze: Die Prinzipien, Fortschritte und Herausforderungen

In den letzten Jahren haben tiefe neuronale Netze (DNNs) zunehmend an Aufmerksamkeit gewonnen, wurden in verschiedenen Anwendungen eingesetzt und erzielten dramatische Genauigkeitsverbesserungen in vielen Aufgaben. Diese Arbeiten basieren auf tiefen Netzen mit Millionen oder sogar Milliarden von Parametern, und die Verfügbarkeit von Grafikprozessoren (GPUs) mit sehr hoher Rechenleistung spielt eine Schlüsselrolle für ihren Erfolg. Zum Beispiel erzielten Krizhevsky et al. durch die Verwendung eines Netzes mit 60 Millionen Parametern, das fünf Faltungsschichten und drei vollständig verbundene Schichten enthielt, bahnbrechende Ergebnisse im ImageNet-Wettbewerb 2012. In der Regel dauert es zwei bis drei Tage, um das gesamte Modell auf dem ImageNet-Datensatz mit einer NVIDIA K40-Maschine zu trainieren. In einem anderen Beispiel wurden die besten Ergebnisse zur Gesichtsverifikation aus dem Datensatz Labeled Faces in the Wild (LFW) mit Netzwerken erzielt, die Hunderte Millionen von Parametern enthielten und eine Mischung aus Faltungs-, lokal verbundenen und vollständig verbundenen Schichten verwendeten. Es ist auch sehr zeitaufwendig, ein solches Modell zu trainieren, um eine angemessene Leistung zu erzielen. In Architekturen, die ausschließlich auf vollständig verbundenen Schichten basieren, kann die Anzahl der Parameter auf Milliarden anwachsen.