Optimisation de l'optimiseur pour les réseaux de neurones profonds pilotés par des données et les réseaux de neurones informés par la physique

Nous étudions le rôle de l'optimiseur dans la détermination de la qualité de l'ajustement du modèle pour les réseaux de neurones ayant un nombre de paramètres petit à moyen. Nous analysons la performance d'Adam, un algorithme d'optimisation basé sur le gradient de premier ordre qui utilise un momentum adaptatif, l'algorithme de Levenberg et Marquardt (LM), une méthode d'ordre deux, l'algorithme de Broyden, Fletcher, Goldfarb et Shanno (BFGS), une méthode d'ordre deux et LBFGS, une version à faible mémoire de BFGS. En utilisant ces optimiseurs, nous ajustons la fonction y = sinc(10x) à l'aide d'un réseau de neurones avec quelques paramètres. Cette fonction a une amplitude variable et une fréquence constante. Nous observons que les composants à amplitude plus élevée de la fonction sont ajustés en premier et qu'Adam, BFGS et LBFGS ont du mal à ajuster les composants à amplitude plus faible de la fonction. Nous résolvons également l'équation de Burgers en utilisant un réseau de neurones informés par la physique (PINN) avec les optimiseurs BFGS et LM. Pour nos problèmes d'exemple avec un nombre de poids petit à moyen, nous constatons que l'algorithme LM est capable de converger rapidement vers la précision machine, offrant des avantages significatifs par rapport à d'autres optimiseurs. Nous avons aussi examiné l'optimiseur Adam avec une gamme de modèles et constaté que l'optimiseur Adam nécessite des modèles beaucoup plus profonds avec un grand nombre d'unités cachées contenant jusqu'à 26 fois plus de paramètres, afin d'atteindre un ajustement de modèle proche de celui réalisé par l'optimiseur LM. Les résultats de l'optimiseur LM illustrent qu'il peut être possible de construire des modèles avec beaucoup moins de paramètres. Nous avons mis en œuvre toutes nos méthodes dans Keras et TensorFlow 2.