CoRA: 大規模言語モデルの共通部分空間を用いた低ランク適応の最適化

大規模言語モデル（LLM）のファインチューニングにおいて、計算リソースを節約しつつ効果を維持し、同じ計算制約内で成果を向上させることが重要です。Low-Rank Adaptation（LoRA）戦略は、訓練可能なパラメータ数と計算コストを削減することで、大規模モデルのファインチューニングにおける効率性と性能のバランスを取っています。しかし、現在のLoRAの進展はそのファインチューニング手法に焦点を当てている可能性が高く、LoRAのさらなる圧縮については期待されるほどの探求がなされていません。多くのLoRAのパラメータが依然として過剰である可能性が高く、これが計算リソースの不必要な浪費につながっているかもしれません。本論文では、CoRAを提案します。これは、大規模モデルからの共通部分空間を用いてLoRAの行列Bを置き換えることで、共有知識を活用し、LoRAの訓練を最適化する方法です。我々の二つの方法は、(1) 置換行列Bを固定してパラメータを半減しつつ特定タスク用に行列Aのみを学習させること、(2) 置換行列Bを元の行列Bの強化された初期状態として使用し、同一パラメータ数で性能を向上させること、です。我々の実験は、第一の方法が元のLoRAのファインチューニングと同等の効果を持ちながらパラメータを半減することでより効率的であることを示しました。同時に、第二の方法はLoRAの元のファインチューニング性能と比較していくつかの改善を示しました。これらは一般に我々の手法の有効性を証明しています。