Key points are not available for this paper at this time.
Trotz bestehender Arbeiten zur Sicherstellung der Generalisierung von neuronalen Netzwerken in Bezug auf skalenempfindliche Komplexitätsmaße, wie Normen, Margen und Schärfe, bieten diese Komplexitätsmaße keine Erklärung dafür, warum neuronale Netzwerke mit Überparametrisierung besser generalisieren. In dieser Arbeit schlagen wir ein neuartiges Komplexitätsmaß vor, das auf einheitsweisen Kapazitäten basiert und zu einer engeren Generalisierungsgrenze für zweischichtige ReLU-Netzwerke führt. Unsere Kapazitätsgrenze korreliert mit dem Verhalten des Testfehlers bei zunehmenden Netzwerkgrößen und könnte potenziell die Verbesserung der Generalisierung durch Überparametrisierung erklären. Wir präsentieren zudem eine passende untere Schranke für die Rademacher-Komplexität, die die vorherigen Kapazitätsuntergrenzen für neuronale Netzwerke verbessert.
Neyshabur et al. (Wed,) haben diese Frage untersucht.