La difficulté de calculer des réseaux neuronaux stables et précis : Sur les barrières de l'apprentissage profond et le 18e problème de Smale

L'apprentissage profond (DL) a connu un succès sans précédent et entre maintenant dans le calcul scientifique avec une force totale. Cependant, les méthodes DL actuelles souffrent généralement d'instabilité, même lorsque les propriétés d'approximation universelle garantissent l'existence de réseaux neuronaux (NN) stables. Nous abordons ce paradoxe en démontrant des problèmes de base bien conditionnés en calcul scientifique où l'on peut prouver l'existence de NN avec de grandes qualités d'approximation ; cependant, aucun algorithme, même aléatoire, ne peut entraîner (ou calculer) un tel NN. Pour tout entier positif K>2 et L, il existe des cas où simultanément 1) aucun algorithme d'entraînement aléatoire ne peut calculer un NN correct à K chiffres avec une probabilité supérieure à 1/2 ; 2) il existe un algorithme d'entraînement déterministe qui calcule un NN avec K –1 chiffres corrects, mais tout algorithme de ce type (même aléatoire) nécessite un nombre arbitrairement élevé de données d'entraînement ; et 3) il existe un algorithme d'entraînement déterministe qui calcule un NN avec K –2 chiffres corrects en utilisant au plus L échantillons d'entraînement. Ces résultats impliquent une théorie de classification décrivant les conditions selon lesquelles des NN (stables) avec une précision donnée peuvent être calculés par un algorithme. Nous commençons cette théorie en établissant des conditions suffisantes pour l'existence d'algorithmes qui calculent des NN stables dans des problèmes inverses. Nous introduisons des réseaux itératifs rapides redémarrés (FIRENETs), que nous prouvons et vérifions numériquement comme étant stables. De plus, nous prouvons que seules O(|log (ϵ)|) couches sont nécessaires pour une solution ϵ-précise au problème inverse.