Tiefe ReLU-Netzwerke und hochordinale finite Elementemethoden II: Chebyšev-Emulation

Wir zeigen Ausdrucksraten und Stabilität in Sobolev-Normen von tiefen Feedforward-ReLU-Neuronalen Netzwerken (NNs) in Bezug auf die Anzahl der Parameter, die das NN für kontinuierliche, stückweise polynomiale Funktionen definieren, auf beliebigen, endlichen Partitionen T eines beschränkten Intervalls (a,b). Neuartige Konstruktionen von ReLU NN-Surrogaten, die Funktionsannäherungen in Form von Chebyšev-Polynom-Entwicklungskoeffizienten kodieren, wurden entwickelt, die weniger Neuronen erfordern als frühere Konstruktionen. Chebyšev-Koeffizienten können leicht aus den Werten der Funktion an den Clenshaw-Curtis-Punkten unter Verwendung der inversen schnellen Fourier-Transformation berechnet werden. Schranken für Ausdrucksraten und Stabilität werden erzielt, die die von Konstruktionen basierend auf ReLU NN-Emulationen von Monomen, wie in 24, 22 behandelt, übertreffen. Alle Emulationsschranken sind explizit in Bezug auf die (willkürliche) Partition des Intervalls, die Ziel-Emulationsgenauigkeit und den polynomialen Grad in jedem Element der Partition. Schätzungen des Emulationsfehlers von ReLU NNs werden für verschiedene Klassen von Funktionen und Normen bereitgestellt, die in der numerischen Analyse häufig vorkommen. Insbesondere zeigen wir exponentielle Schranken für die ReLU-Emulationsrate für analytische Funktionen mit Punkt-Singularitäten und entwickeln eine Schnittstelle zwischen Chebfun-Annäherungen und konstruktiven ReLU NN-Emulationen.