Robuste Deep Learning von schwach abhängigen Daten

Jüngste Entwicklungen im Bereich des Deep Learning haben einige theoretische Eigenschaften von Schätzern tiefen neuronalen Netze etabliert. Die meisten bestehenden Arbeiten zu diesem Thema beschränken sich jedoch auf beschränkte Verlustfunktionen oder (sub) -gaussische oder beschränkte Eingaben. Dieses Papier befasst sich mit robustem Deep Learning aus schwach abhängigen Beobachtungen, mit unbeschränkter Verlustfunktion und unbeschränktem Eingabe/Ausgabe. Es wird lediglich angenommen, dass die Output-Variable einen endlichen r-ten Moment hat, mit r >1. Es werden nicht asymptotische Grenzen für das erwartete Überrisiko des Schätzers des tiefen neuronalen Netzes unter starken Misch- und schwach abhängigen Annahmen über die Beobachtungen etabliert. Wir leiten eine Beziehung zwischen diesen Grenzen und r ab, und wenn die Daten Momente beliebiger Ordnung haben (das heißt r=), ist die Konvergenzgeschwindigkeit nah an einigen bekannten Ergebnissen. Wenn der Zielfortschreiber zur Klasse der Hölder-glatten Funktionen mit ausreichend großem Glattheitsindex gehört, ist die Rate des erwarteten Überrisikos für exponentiell stark mischende Daten nah oder gleich der für i.i.d.-Stichproben. Anwendungen auf robuste nichtparametrische Regression und robuste nichtparametrische Autoregression werden betrachtet. Die Simulationstudie für Modelle mit schwerfälligen Fehlern zeigt, dass robuste Schätzer mit absolutem Verlust und Huber-Verlustfunktion die Methode der kleinsten Quadrate übertreffen.