Uma Única Camada Linear Produz Matrizes de Baixa Dimensão Adaptadas à Tarefa

A Adaptação de Baixa Dimensão (LoRA) é um método amplamente utilizado de Ajuste Fino Eficiente em Parâmetros (PEFT) que atualiza uma matriz de pesos inicial W₀ com uma matriz delta W composta por duas matrizes de baixa dimensão A e B. Um estudo anterior sugeriu que há correlação entre W₀ e W. Neste estudo, temos como objetivo aprofundar as relações entre W₀ e as matrizes de baixa dimensão A e B para compreender melhor o comportamento do LoRA. Em particular, analisamos uma matriz de conversão que transforma W₀ em matrizes de baixa dimensão, que encapsula informações sobre as relações. Nossa análise revela que as matrizes de conversão são semelhantes em cada camada. Inspirados por essas descobertas, hipotetizamos que uma única camada linear, que utiliza cada W₀ da camada como entrada, pode gerar matrizes de baixa dimensão adaptadas à tarefa. Para confirmar essa hipótese, elaboramos um método denominado LoRA Condicionalmente Parametrizado (CondLoRA) que atualiza matrizes de pesos iniciais com matrizes de baixa dimensão derivadas de uma única camada linear. Nossos resultados empíricos mostram que o CondLoRA mantém um desempenho equivalente ao do LoRA, apesar do fato de que os parâmetros treináveis do CondLoRA são inferiores aos do LoRA. Portanto, concluímos que "uma única camada linear gera matrizes de baixa dimensão adaptadas à tarefa."