Ce travail présente un cadre totalement riemannien pour l'Adaptation à Faible Rang (LoRA) qui traite géométriquement les adaptateurs à faible rang en les optimisant directement sur la variété à rang fixe. Cette formulation élimine l'ambiguïté de paramétrisation présente dans les optimisateurs euclidiens standard. Notre cadre intègre trois composants clés pour y parvenir : (1) nous dérivons Riemannion, un nouvel optimiseur riemannien sur la variété de matrices à rang fixe qui généralise l'optimiseur Muon récemment proposé ; (2) nous développons une initialisation LoRA informée par le gradient riemannien, et (3) nous fournissons une mise en œuvre efficace sans surcharge importante utilisant la différentiation automatique pour calculer les opérations géométriques qui en découlent tout en adhérant aux meilleures pratiques en algèbre linéaire numérique. Des résultats expérimentaux complets sur les architectures LLM et de modèle de diffusion démontrent que notre approche entraîne des améliorations cohérentes et notables en termes de vitesse de convergence et de performance finale des tâches, par rapport à la LoRA standard et à ses modifications à la pointe de la technologie.
Богачев et al. (Wed,) ont étudié cette question.