XGrad : Amélioration des optimisateurs basés sur le gradient avec prédiction de poids

Dans cet article, nous proposons un cadre général d'entraînement en apprentissage profond, XGrad, qui introduit la prédiction des poids dans les optimisateurs populaires basés sur le gradient pour améliorer leur convergence et leur généralisation lors de l'entraînement des modèles de réseau de neurones profonds (DNN). En particulier, avant chaque entraînement en mini-lots, les poids futurs sont prédits selon la règle de mise à jour de l'optimiseur utilisé et sont ensuite appliqués à la fois lors de la propagation avant et de la propagation arrière. De cette manière, pendant toute la période d'entraînement, l'optimiseur utilise toujours les gradients par rapport aux poids futurs pour mettre à jour les paramètres du DNN, permettant à l'optimiseur basé sur le gradient d'atteindre une meilleure convergence et généralisation par rapport à l'optimiseur original sans prédiction de poids. XGrad est plutôt simple à mettre en œuvre mais très efficace pour améliorer la convergence des optimisateurs basés sur le gradient et l'exactitude des modèles DNN. Les résultats empiriques concernant cinq optimisateurs populaires, y compris SGD avec moment, Adam, AdamW, AdaBelief et AdaM3, démontrent l'efficacité de notre proposition. Les résultats expérimentaux valident que XGrad peut atteindre une précision de modèle supérieure à celle des optimisateurs de référence lors de l'entraînement des modèles DNN. Le code de XGrad sera disponible à : https://github.com/guanleics/XGrad.