Régression non paramétrique profonde sur des variétés approximatives : bornes d'erreur non asymptotiques avec des préfacteurs polynomiaux

Nous étudions les propriétés de la régression par moindres carrés non paramétrique utilisant des réseaux de neurones profonds. Nous dérivons des bornes supérieures non asymptotiques pour le risque excessif du minimiseur du risque empirique de la régression profonde feedforward. Nos bornes d'erreur atteignent un taux optimal minimax et améliorent celles existantes dans le sens où elles dépendent polynômialement de la dimension du prédicteur, au lieu de dépendre exponentiellement de la dimension. Nous montrons que l'estimateur de régression neuronale peut contourner la malédiction de la dimensionnalité sous l'hypothèse que le prédicteur est soutenu sur une variété approximative de faible dimension ou un ensemble à faible dimension de Minkowski. Nous établissons également le taux de convergence optimal sous l'hypothèse de soutien exact de la variété. Nous examinons comment l'erreur de prédiction de l'estimateur de régression neuronale dépend de la structure des réseaux de neurones et proposons une notion d'efficacité relative du réseau entre deux types de réseaux de neurones, qui fournit une mesure quantitative pour évaluer les mérites relatifs des différentes structures de réseau. Pour établir ces résultats, nous dérivons une nouvelle borne d'erreur d'approximation pour les fonctions de Hölder lissées en utilisant des réseaux de neurones activés par ReLU, ce qui peut avoir un intérêt indépendant. Nos résultats sont dérivés sous des hypothèses plus faibles sur la distribution des données et la structure du réseau de neurones que celles de la littérature existante.