Wie DNNs den Fluch der Dimensionalität brechen: Kompositionalität und Symmetrie-Lernen

Wir zeigen, dass tiefe neuronale Netzwerke (DNNs) jede Komposition von Funktionen mit beschränkter F₁-Norm effizient lernen können, was DNNs erlaubt, den Fluch der Dimensionalität auf Weisen zu brechen, die flache Netzwerke nicht können. Genauer gesagt leiten wir eine Verallgemeinerungsgrenze ab, die ein Deckungszahl-Argument für Kompositionalität und die F₁-Norm (oder die verwandte Barron-Norm) für große Breitenanpassung kombiniert. Wir zeigen, dass der globale Minimierer des regularisierten Verlusts von DNNs beispielsweise die Komposition zweier Funktionen f^*=h g aus einer kleinen Anzahl von Beobachtungen anpassen kann, vorausgesetzt g ist glatt/regelmäßig und reduziert die Dimensionalität (z. B. könnte g die Modulo-Abbildung der Symmetrien von f^* sein), sodass h trotz ihrer geringen Regelmäßigkeit gelernt werden kann. Die Maße der Regelmäßigkeit, die wir in Betracht ziehen, sind die Sobolev-Norm mit verschiedenen Differenzierbarkeitsgraden, die gut an die F₁-Norm angepasst ist. Wir berechnen empirisch Skalierungsgesetze und beobachten Phasenübergänge, je nachdem, ob g oder h schwieriger zu lernen ist, wie von unserer Theorie vorhergesagt.