Weiche Gewichtsteilung zur Kompression von neuronalen Netzen

Der Erfolg des tiefen Lernens in zahlreichen Anwendungsbereichen hat den Wunsch geweckt, diese auf mobilen Geräten auszuführen und zu trainieren. Dies steht jedoch im Widerspruch zu ihrer rechnerisch, speicher- und energieintensiven Natur, was zu einem wachsenden Interesse an Kompression führt. Neuere Arbeiten von Han et al. (2015a) schlagen eine Pipeline vor, die das Retraining, das Schneiden und die Quantisierung von Gewichten neuronaler Netze umfasst und dabei modernste Kompressionsraten erzielt. In diesem Papier zeigen wir, dass wettbewerbsfähige Kompressionsraten durch den Einsatz einer Version der weichen Gewichtsteilung (Nowlan & Hinton, 1992) erreicht werden können. Unsere Methode erzielt sowohl Quantisierung als auch Schneiden in einem einfachen (Re-)Trainingsverfahren. Diese Sichtweise verdeutlicht auch die Beziehung zwischen Kompression und dem Minimum Description Length (MDL) Prinzip.