通过低秩激活压缩进行内存高效的微调

参数高效的微调范式随着基础模型的发展受到了广泛关注。尽管提出了许多方法来减少可训练参数的数量，但其显著的内存开销仍然是阻碍实际部署的关键瓶颈。在本文中，我们观察到模型激活是内存消耗的主要来源，特别是在大批量和长上下文长度的情况下；然而，激活的秩始终保持在较低水平。基于这一洞察，我们提出了一种内存高效的微调方法，称为低秩激活压缩（LoRAct）。与以前的工作不同，LoRAct 提供了一种更灵活和多功能的压缩策略，可以在前向传播期间在线应用，而无需任何校准数据。此外，LoRAct结合了一种新颖的基于采样的正交分解算法，专门为低秩矩阵设计，相比广泛使用的 RSVD 提供了更高的计算效率和更紧的误差界限。在视觉和语言任务上的实验验证了 LoRAct 的有效性。值得注意的是，LoRAct 在与广泛采用的 LoRA 方法相比时进一步将激活内存减少了约 80%，同时保持了竞争性能。源代码可在 https://github.com/shijxcs/meft 获得.