PromptFL：让联邦参与者共同学习提示而不是模型——基础模型时代的联邦学习

有效分布参数的快速全球聚合对联邦学习（FL）至关重要，这需要充足的带宽来进行参数沟通，以及足够的用户数据进行本地训练。否则，FL可能会导致过长的训练时间以达到收敛，并产生不准确的模型。本文提出了一种全新的FL框架PromptFL，它用联邦提示训练代替联邦模型训练，即让联邦参与者训练提示而不是共享模型，从而通过以分布式方式利用基础模型（FM）的力量，实现高效的全球聚合和本地训练，尽管数据不足。PromptFL将现成的FM（即CLIP）传递给分布式客户端，这些客户端将基于非常少的本地数据共同训练共享的软提示。由于PromptFL只需更新提示而非整个模型，因而可以显著加速本地训练和全球聚合。同时，在大规模数据上训练的FM能够为分布式用户任务提供强大的适应能力与训练好的软提示。我们通过广泛的实验实证分析PromptFL，并展示其在系统可行性、用户隐私和性能方面的优越性。