Implizite Regularisierung in der tiefen Matrixfaktorisierung

Die Bemühungen, das Generalisierungsrätsel im Deep Learning zu verstehen, haben zu der Überzeugung geführt, dass gradientenbasierte Optimierung eine Form der impliziten Regularisierung induziert, einen Bias hin zu Modellen mit niedriger "Komplexität." Wir untersuchen die implizite Regularisierung des Gradientenabstiegs über tiefe lineare neuronale Netze zur Matrixvollständigung und Sensorik, ein Modell, das als tiefe Matrixfaktorisierung bezeichnet wird. Unser erstes Ergebnis, unterstützt durch Theorie und Experimente, ist, dass die Hinzufügung von Tiefe zu einer Matrixfaktorisierung eine implizite Tendenz zu Niedrigranglösungen verstärkt, die oft zu einer genaueren Wiederherstellung führt. Zweitens präsentieren wir theoretische und empirische Argumente, die eine aufkeimende Ansicht in Frage stellen, nach der die implizite Regularisierung in der Matrixfaktorisierung mit einfachen mathematischen Normen erfasst werden kann. Unsere Ergebnisse deuten darauf hin, dass die Sprache der Standardregularisatoren möglicherweise nicht reichhaltig genug ist, um die durch gradientenbasierte Optimierung hervorgebrachte implizite Regularisierung vollständig zu erfassen.