Beschleunigter Gradientenabstieg durch Faktoren-zentrierte Zersetzung

Die Gradientenfaktorzentrierung ist eine neue Methodik zur Zersetzung von neuronalen Netzwerken in verzerrte und zentrierte Teilnetze, die dann parallel trainiert werden. Die Zersetzung kann auf jedes mustabhängige Faktum im Gradienten des Netzwerks angewendet werden und ist so konzipiert, dass die Teilnetze besser für die Optimierung durch Gradientenabstieg geeignet sind als das ursprüngliche Netzwerk: verzerrte Teilnetze aufgrund ihrer vereinfachten Architektur, zentrierte Teilnetze aufgrund eines modifizierten Gradienten, der die Bedingungen verbessert. Die architektonischen und algorithmischen Änderungen, die dieser Ansatz erfordert, umfassen sowohl bekannte als auch neuartige Elemente, oft in vorgeschriebenen Kombinationen. Der Rahmen schlägt beispielsweise vor, dass Abkürzungsverbindungen – ein bekanntes architektonisches Merkmal – in Verbindung mit der Steigungszentrierung, einer hier beschriebenen neuen Technik, am besten funktionieren sollten. Unsere Benchmark-Experimente bestätigen diese Vorhersage und zeigen, dass die Faktoren-zentrierte Zersetzung das Lernen erheblich beschleunigen kann, ohne die Verallgemeinerungsfähigkeit des trainierten Netzwerks nachteilig zu beeinflussen.