Eine Untersuchung der Parameterredundanz in tiefen Netzwerken mit zirkulären Projektionen

Wir untersuchen die Redundanz von Parametern in tiefen neuronalen Netzwerken, indem wir die konventionelle lineare Projektion in vollständig verbundenen Schichten durch die zirkuläre Projektion ersetzen. Die zirkuläre Struktur reduziert den Speicherbedarf erheblich und ermöglicht die Nutzung der schnellen Fourier-Transformation zur Beschleunigung der Berechnung. Bei Berücksichtigung einer vollständig verbundenen neuronalen Netzwerkschicht mit d Eingabeknoten und d Ausgabeknoten verbessert diese Methode die Zeitkomplexität von O(d²) auf O(d log d) und die Raumkomplexität von O(d²) auf O(d). Die Einsparungen im Speicher sind besonders wichtig für moderne architekturen von tiefen konvolutionalen neuronalen Netzwerken, bei denen vollständig verbundene Schichten typischerweise mehr als 90 % der Netzwerkparameter enthalten. Darüber hinaus zeigen wir, dass die Berechnung und Optimierung der Gradienten der zirkulären Projektionen sehr effizient durchgeführt werden kann. Unsere Experimente an drei Standarddatensätzen zeigen, dass der vorgeschlagene Ansatz diese signifikanten Einsparungen bei Speicher und Effizienz mit minimalen Erhöhungen der Fehlerquote im Vergleich zu neuronalen Netzwerken mit unstrukturierten Projektionen erzielt.