Adapprox : Approximation Adaptative dans l'Optimisation Adam via des Matrices Aléatoires à Bas Rang

À mesure que les modèles d'apprentissage profond augmentent exponentiellement en taille, des optimisateurs tels qu'Adam rencontrent des défis significatifs en matière de consommation de mémoire en raison du stockage des données des premiers et deuxièmes moments. Les méthodes actuelles, économes en mémoire, comme Adafactor et CAME, compromettent souvent la précision avec leurs techniques de factorisation matricielle. Pour remédier à cela, nous introduisons Adapprox, une approche novatrice qui utilise l'approximation de matrices aléatoires à bas rang pour une approximation plus efficace et précise du deuxième moment d'Adam. Adapprox comporte un mécanisme de sélection de rang adaptatif, équilibrant finement précision et efficacité mémoire, et inclut une stratégie de guidage par similarité cosinus optionnelle pour améliorer la stabilité et accélérer la convergence. Lors de l'entraînement de GPT-2 et dans les tâches en aval, Adapprox surpasse AdamW en atteignant des économies de mémoire de 34,5 % à 49,9 % et de 33,8 % à 49,9 % pour les modèles de 117M et 345M, respectivement, avec le premier moment activé, et augmente encore ces économies sans le premier moment. De plus, cela améliore la vitesse de convergence et les performances des tâches en aval par rapport à ses homologues.