Wir untersuchen spektrale Algorithmen in dem Szenario, in dem Kerne aus Daten gelernt werden. Wir führen die effektive Spannweite (ESD) ein, ein alignmentsensitives Komplexitätsmaß, das gemeinsam von dem Signal, dem Spektrum und dem Rauschpegel σ² abhängt. Die ESD ist für beliebige Kerne und Signale gut definiert, ohne Bedingungen für Eigenwertzerfall oder Quellenbedingungen zu erfordern. Wir beweisen, dass für Sequenzmodelle, deren ESD höchstens K beträgt, das minimax überschüssige Risiko als σ² K skaliert. Darüber hinaus analysieren wir überparametrisierte Gradientenflüsse und beweisen, dass sie die ESD reduzieren kann. Diese Erkenntnis stellt eine Verbindung zwischen adaptivem Merkmalslernen und nachweisbaren Verbesserungen der Verallgemeinerung spektraler Algorithmen her. Wir demonstrieren die Allgemeingültigkeit des ESD-Rahmens, indem wir ihn auf lineare Modelle und RKHS-Regressionsverfahren erweitern und unterstützen die Theorie mit numerischen Experimenten. Dieser Rahmen bietet eine neuartige Perspektive auf die Verallgemeinerung jenseits traditioneller Theorien mit festen Kernen.
Huang et al. (Wed,) haben diese Frage untersucht.