Expressivité exponentielle dans les réseaux de neurones profonds à travers le chaos transitoire

Nous combinons la géométrie riemannienne avec la théorie du champ moyen du chaos de haute dimension pour étudier la nature de la propagation des signaux dans des réseaux de neurones profonds génériques avec des poids aléatoires. Nos résultats révèlent une transition de phase expressivité ordre-vers-chaos, les réseaux dans la phase chaotique calculant des fonctions non linéaires dont la courbure globale croît exponentiellement avec la profondeur mais pas la largeur. Nous prouvons que cette classe générique de fonctions aléatoires profondes ne peut pas être calculée efficacement par un réseau superficiel, allant au-delà des travaux précédents restreints à l'analyse de fonctions uniques. De plus, nous formalisons et démontrons quantitativement l'idée longtemps conjecturée que les réseaux profonds peuvent démêler des variétés fortement courbées dans l'espace d'entrée en variétés planes dans l'espace caché. Notre analyse théorique du pouvoir expressif des réseaux profonds s'applique largement à des non-linéarités arbitraires et fournit une base quantitative pour des notions précédemment abstraites sur la géométrie des fonctions profondes.