Pourquoi les réseaux neuronaux profonds pour l'approximation de fonction ?

Récemment, il y a eu beaucoup d'intérêt pour comprendre pourquoi les réseaux neuronaux profonds sont préférés aux réseaux peu profonds. Nous montrons que, pour une grande classe de fonctions lisses par morceaux, le nombre de neurones nécessaires à un réseau peu profond pour approximer une fonction est exponentiellement plus grand que le nombre correspondant de neurones nécessaire à un réseau profond pour un degré donné d'approximation de fonction. Tout d'abord, nous considérons des fonctions univariées sur un intervalle borné et exigeons d'un réseau neuronal qu'il atteigne une erreur d'approximation uniformément sur l'intervalle. Nous montrons que les réseaux peu profonds (c'est-à-dire, les réseaux dont la profondeur ne dépend pas de) nécessitent Ω (poly (1/) ) neurones, tandis que les réseaux profonds (c'est-à-dire, les réseaux dont la profondeur croît avec 1/) nécessitent O (polylog (1/) ) neurones. Nous étendons ensuite ces résultats à certaines classes de fonctions multivariées importantes. Nos résultats sont dérivés pour des réseaux neuronaux qui utilisent une combinaison d'unités linéaires rectifiées (ReLU) et d'unités de seuil binaire, deux des types de fonctions d'activation les plus populaires. Notre analyse repose sur une observation simple : la multiplication de deux bits peut être représentée par une ReLU.