Key points are not available for this paper at this time.
Nous prouvons de nouvelles bornes supérieures et inférieures sur la dimension VC des réseaux de neurones profonds avec la fonction d'activation ReLU. Ces bornes sont serrées pour presque toute la gamme des paramètres. Soit W le nombre de poids et L le nombre de couches, nous prouvons que la dimension VC est O (W L (W) ), et fournissons des exemples avec une dimension VC Ω (W L (W/L) ). Cela améliore à la fois les bornes supérieures et inférieures précédemment connues. En termes du nombre U d'unités non linéaires, nous prouvons une borne serrée Θ (W U) sur la dimension VC. Toutes ces bornes se généralisent à des fonctions d'activation linéaires par morceaux arbitraires, et tiennent également pour les pseudodimensions de ces classes de fonctions. Combiné avec des résultats précédents, cela donne une gamme intrigante de dépendances de la dimension VC sur la profondeur pour des réseaux avec différentes non-linéarités : il n'y a pas de dépendance pour les fonctions constantes par morceaux, une dépendance linéaire pour les fonctions linéaires par morceaux, et pas plus qu'une dépendance quadratique pour les polynômes par morceaux généraux.
Bartlett et al. (Wed,) ont étudié cette question.