AFLoRA：在参数高效微调大型模型中的低秩适应自适应冻结

我们提出了一种新颖的参数高效微调（PEFT）方法，称为低秩适应的自适应冻结（AFLoRA）。具体来说，对于每个预训练的冻结权重张量，我们添加了一条平行路径的可训练低秩矩阵，即一个下投影矩阵和一个上投影矩阵，每个矩阵后面都有一个特征变换向量。基于一种新颖的冻结评分，我们在微调过程中逐步冻结这些投影矩阵，以减少计算量并缓解过拟合。我们的实验结果表明，我们能够在GLUE基准上实现最先进的性能，平均提高可达0.85\%，同时减少平均可训练参数数量多达9.5个。在运行时间方面，AFLoRA与类似的PEFT替代方法相比，可以提高多达1.86。除了我们方法的实用性之外，我们还提供了对不同模块中LoRA路径的可训练性要求和不同投影矩阵的冻结计划的见解。代码将会发布。