Practical existence theorems for function classes arising from applications

In den letzten Jahren wurde gezeigt, dass die Menge der Realisierungen von neuronalen Netzwerken (NNs) eine breite Klasse von Funktionen approximieren kann, was sie zu einer erfolgreichen Hypothesenklasse in verschiedenen Anwendungsbereichen macht. In dieser Arbeit untersuchen wir, wie auf neuronalen Netzwerken basierende Algorithmen zur Lösung verschiedener Problemstellungen eingesetzt werden können. Insbesondere analysieren wir theoretische Garantien für die Lösung inverser Probleme, Klassifikationsaufgaben und die Schätzung frequenzbegrenzter Funktionen. In all unseren Problemstellungen interessieren wir uns für die Approximation von Lösungen anhand einer begrenzten Anzahl an Datenproben. Es wird angenommen, dass die Beziehung innerhalb der Daten deterministisch ist und durch eine sogenannte Ground-Truth-Funktion modelliert wird, die vom Algorithmus gelernt werden soll. Wir untersuchen die Approximationseigenschaffen neuronaler Netzwerke für Funktionen mit bestimmten Regularitätseigenschaften. Insbesondere betrachten wir Funktionen, die Lipschitz-stetig sind, RBV2-Regularität aufweisen oder frequenzlokalisiert sind. Auch unstetige Ground-Truth-Funktionen werden berücksichtigt, da sie dennoch von theoretischen Garantien für kontinuierlich RBV²-reguläre Funktionen profitieren können. Darüber hinaus untersuchen wir die Approximation solcher Ground-Truth-Funktionen durch Realisierungen neuronaler Netzwerke mit fester Architektur. Außerdem analysieren wir, wie man ein geeignetes neuronales Netz auswählt, das gut auf unbekannte Daten generalisiert. Jedes Problem wird unter einer spezifischen Verlustfunktion betrachtet. Wir stoßen auf den sogenannte Fluch-der-Dimensionen-Problem, ein Begriff, der die zunehmende Komplexität bestimmter Algorithmen bei wachsender Dimension beschreibt. In verschiedenen Publikationen wurde beobachtet, dass Methoden auf Basis neuronaler Netzwerke diesen Fluch oft zu überwinden scheinen. In dieser Arbeit analysieren wir zwei der am häufigsten verwendeten Strategien zur Minderung des Fluchs der Dimensionalität. Konkret berücksichtigen wir in Kapitel 4 die Mannigfaltigkeitsannahme und untersuchen in Kapitel 3, wie Regularität im Radon-Raum ausgenutzt werden kann. Unter diesen Annahmen leiten wir Approximations- und Schätzraten her. Im Gegensatz zum Rahmen der universellen Approximationssätze sind unsere Resultate im Rahmen des kürzlich eingeführten Practical Existence Theorem (PET) formuliert. Innerhalb dieses Rahmens liefern wir theoretische Garantien für die Existenz einer Klasse neuronaler Netzwerke, die jedes der betrachteten Probleme mit einer begrenzten Anzahl an Parametern löst. Zudem geben wir untere Schranken für die Stichprobenkomplexität und obere Schranken für den Generalisierungsfehler an. Die Auswahl eines geeigneten neuronalen Netzwerks erfolgt über ein Optimierungsverfahren, typischerweise durch Minimierung eines empirischen Risikofunktionals mit einer problemspezifischen Verlustfunktion.