HLoRA：针对LLM异构微调的高效联邦学习系统

联邦学习系统被认为是以大量参与者或数据拥有者为基础，扩展分布式模型训练的一种高效方法，同时保证数据隐私。为了将当前最流行的预训练大型语言模型应用于具有数据隐私保障要求的其他领域，现有工作提出在联邦学习环境中使用参数高效的微调方法LoRA，对预训练大型语言模型进行微调。为了解决参与者面临的资源和数据异构问题，以前的工作采用了不同客户端使用不同秩的异构LoRA，并根据他们的秩进行待定，这为参数聚合带来了偏差。为了解决这个问题，我们提出HLoRA，这是一种高效的联邦学习系统，利用修改过的LoRA方法，结合秩异构性以优化通信和计算效率。使用Microsoft Research Paraphrase Corpus (MRPC)、Quora Question Pairs (QQP)和Recognizing Textual Entailment (RTE)进行的实验结果显示，在Plato联邦学习框架内，我们的方法不仅减少了资源需求，还在收敛速度和最终模型准确性方面优于传统LoRA应用。该研究表明，我们的方法可以显著改善联邦LLM微调的实际部署，特别是在客户资源多样的环境中。