Sur le biais spectral des réseaux de neurones

Les réseaux de neurones sont connus pour être une classe de fonctions très expressives capables d'ajuster même des mappages d'entrée-sortie aléatoires avec une précision de 100\%. Dans ce travail, nous présentons des propriétés des réseaux de neurones qui complètent cet aspect d'expressivité. En utilisant des outils de l'analyse de Fourier, nous montrons que les réseaux profonds ReLU sont biaisés vers des fonctions à basse fréquence, ce qui signifie qu'ils ne peuvent pas avoir de fluctuations locales sans affecter leur comportement global. Intuitivement, cette propriété est en accord avec l'observation que les réseaux surparamétrés trouvent des motifs simples qui se généralisent à travers des échantillons de données. Nous étudions également comment la forme de la variété de données affecte l'expressivité en montrant des preuves que l'apprentissage des hautes fréquences devient plus facile avec une complexité croissante de la variété, et présentons une compréhension théorique de ce comportement. Enfin, nous étudions la robustesse des composants de fréquence par rapport à la perturbation des paramètres, pour développer l'intuition selon laquelle les paramètres doivent être finement ajustés pour exprimer des fonctions à haute fréquence.