Démystification de l'entraînement paresseux des réseaux de neurones d'un point de vue macroscopique

Dans cet article, nous faisons progresser la compréhension des dynamiques d'entraînement des réseaux de neurones en examinant l'interaction complexe de divers facteurs introduits par les paramètres de poids dans le processus d'initialisation. Motivés par le travail fondamental de Luo et al. (J. Mach. Learn. Res. , Vol. 22, Iss. 1, No. 71, pp 3327-3373), nous explorons les dynamiques de descente de gradient des réseaux de neurones à travers le prisme des limites macroscopiques, où nous analysons leur comportement lorsque la largeur m tend vers l'infini. Notre étude présente une approche unifiée avec des techniques affinées conçues pour les réseaux de neurones entièrement connectés à plusieurs couches, qui peuvent facilement être étendues à d'autres architectures de réseaux de neurones. Notre investigation révèle que la descente de gradient peut rapidement conduire les réseaux de neurones profonds à une perte d'entraînement nulle, indépendamment des schémas d'initialisation spécifiques employés par les paramètres de poids, à condition que l'échelle initiale de la fonction de sortie dépasse un certain seuil. Ce régime, caractérisé comme la zone theta-paresse, met en avant l'influence prédominante de l'échelle initiale sur d'autres facteurs concernant le comportement d'entraînement des réseaux de neurones. De plus, notre approche s'inspire du paradigme du noyau tangent neural (NTK), et nous en élargissons l'applicabilité. Alors que le NTK suppose généralement que ₌ m=12 et impose à chaque paramètre de poids d'évoluer selon le facteur 1m, dans notre régime theta-paresse, nous abandonnons ce facteur et assouplissons les conditions à ₌ m>0. Comme pour le NTK, le comportement des réseaux de neurones surparamétrés dans le régime theta-paresse entraînés par descente de gradient peut être efficacement décrit par un noyau spécifique. Grâce à une analyse rigoureuse, notre investigation éclaire le rôle central de dans la régulation des dynamiques d'entraînement des réseaux de neurones.