Eine einzelne lineare Schicht erzeugt aufgabenadaptierte Niedrigrangmatrizen

Die Low-Rank-Adaptation (LoRA) ist eine weit verbreitete Parameter-effiziente Feinabstimmungsmethode (PEFT), die eine ursprüngliche Gewichtsmatrix W₀ mit einer Delta-Matrix W aktualisiert, die aus zwei Niedrigrangmatrizen A und B besteht. Eine frühere Studie deutete darauf hin, dass es eine Korrelation zwischen W₀ und W gibt. In dieser Studie wollen wir die Beziehungen zwischen W₀ und den Niedrigrangmatrizen A und B näher untersuchen, um das Verhalten von LoRA besser zu verstehen. Insbesondere analysieren wir eine Umwandlungsmatrix, die W₀ in Niedrigrangmatrizen transformiert, die Informationen über die Beziehungen kapselt. Unsere Analyse zeigt, dass die Umwandlungsmatrizen in jeder Schicht ähnlich sind. Inspiriert von diesen Ergebnissen stellen wir die Hypothese auf, dass eine einzelne lineare Schicht, die W₀ jeder Schicht als Eingabe verwendet, aufgabenadaptierte Niedrigrangmatrizen erzeugen kann. Um diese Hypothese zu bestätigen, entwickeln wir eine Methode namens Bedingt Parametrisierte LoRA (CondLoRA), die ursprüngliche Gewichtsmatrizen mit aus einer einzelnen linearen Schicht abgeleiteten Niedrigrangmatrizen aktualisiert. Unsere empirischen Ergebnisse zeigen, dass CondLoRA eine Leistung beibehält, die mit der von LoRA vergleichbar ist, obwohl die trainierbaren Parameter von CondLoRA weniger sind als die von LoRA. Daher schließen wir, dass "eine einzelne lineare Schicht aufgabenadaptierte Niedrigrangmatrizen erzeugt."