基盤モデル訓練のための効率的な連合学習手法に関する調査

連合学習（FL）は、複数のクライアント間でのプライバシーを守る共同訓練を促進する確立された技術となりました。しかし、新しいアプローチの多くは、小規模なディープラーニングモデルに関する貢献のみを議論し、クライアント上での完全なモデルの訓練に焦点を当てています。基盤モデル（FM）の登場により、多くのディープラーニングアプリケーションにおいて現実は異なります。通常、FMは既に多様なタスクで事前訓練されており、完全なモデルの訓練に必要なよりもかなり小さなデータセットで特定の下流タスクに微調整できます。しかし、そのようなデータセットへのアクセスはしばしば困難です。FLはその設計により、データのサイロを開くのに役立ちます。本調査では、計算効率と通信効率に焦点を当てた新しい分類法を紹介し、FLシステムにおけるFMの活用に必要な重要な要素を示します。FLアプリケーションにおけるパラメータ効率的微調整（PEFT）の利点と欠点について議論し、FMを扱う準備ができたFLフレームワークについて詳述し、FLにおける生成モデルの評価方法やプライバシーとPEFTの相互作用に関する今後の研究機会を提供します。