大型语言模型的混合与统一微调：资源受限下的方法与基准测试

由于大型语言模型（LLMs）的规模和内存需求，微调仍然是计算瓶颈。本文全面评估了参数高效微调（PEFT）技术，包括LoRA、BOFT、LoRA-GA和uRNN，并提出了一种新型混合策略，动态整合BOFT的正交稳定性与LoRA-GA的梯度对齐快速收敛。通过计算由梯度范数引导的逐层自适应更新，混合方法在多样任务中实现了卓越的收敛效率和泛化性能。我们还首次探索了将单元RNN（uRNN）原理应用于基于transformer的LLMs，通过结构化的酉约束提升梯度稳定性。在GLUE、GSM8K、MT-Bench和HumanEval四个基准测试中，采用7B至405B参数模型的实证评估表明，我们的混合方法始终优于单一PEFT基线，接近全量微调精度，同时训练时间减少最多2.1倍，内存使用量减少50%。这些发现确立了该混合方法作为资源受限环境下LLMs实用且可扩展的微调解决方案。