在资源限制条件下，以最小的计算开销微调大型语言模型（LLMs）对有效适应下游任务至关重要。参数高效微调（PEFT）方法，如低秩适应（LoRA），通过仅更新少量参数来实现。然而，最近的研究表明，LoRA在学习行为上与完全微调（Full FT）存在差异，特别是在谱特性方面。受到这些发现的启发，我们提出了PiCa，这是一种基于微调权重谱特性的理论基础PEFT方法。PiCa将梯度投影到预训练权重的低秩列子空间，并展示出与Full FT更紧密对齐的学习模式。此外，我们表明，结合PiCa与权重共享可以大幅减少可训练参数的数量，而不影响性能，使得使用比LoRA少13倍的可训练参数获得卓越的性能。大量实验证明，PiCa在现有PEFT方法中实现了最先进的性能。
Hwang等人（Mon，）研究了这个问题。