MAMGD : Méthode d'Optimisation Basée sur le Gradient Utilisant l'Activation Exponentielle

Les méthodes d'optimisation, à savoir les méthodes d'optimisation par gradient, sont une partie clé de l'entraînement des réseaux de neurones. Dans cet article, nous proposons une nouvelle méthode d'optimisation par gradient utilisant une décroissance exponentielle et un taux d'apprentissage adaptatif utilisant une dérivée seconde discrète des gradients. L'optimiseur MAMGD utilise une étape d'apprentissage adaptative, un lissage exponentiel et une accumulation de gradients, une correction des paramètres, et quelques analogies discrètes de la mécanique classique. Les expériences comprenaient la minimisation de fonctions réelles multivariées, l'approximation de fonctions utilisant des réseaux de neurones multicouches, et l'entraînement de réseaux de neurones sur des ensembles de données populaires de classification et de régression. Les résultats expérimentaux de la nouvelle technologie d'optimisation ont montré une vitesse de convergence élevée, une stabilité face aux fluctuations, et une accumulation de collecteurs de gradients. La méthodologie de recherche est basée sur l'analyse quantitative des performances de l'algorithme en réalisant des expériences computationnelles sur divers problèmes d'optimisation et en la comparant avec les méthodes existantes.