量子化LoRAによるフェデレーテッドラーニングにおけるデータとモデルのプライバシーの促進

従来のフェデレーテッドラーニングは、主に複数のエッジデバイスに分散されたデータのプライバシーを確保することを目的としており、グローバルモデルは学習プロセス中にパラメータの更新のためにエッジデバイスに送信されます。しかし、大規模言語モデル（LLM）の開発には膨大なデータと計算リソースが必要であり、それらは開発者や所有者にとって貴重な知的財産となります。フェデレーテッドラーニングの文脈でデータとモデルのプライバシーの両方を保護するメカニズムを確立するために、我々は訓練中にモデルのパラメータの量子化バージョンを配布するだけで済む方法を導入します。この方法は、パラメータの更新のための正確な勾配推定を可能にし、クライアントが中央主催型モデルと同等の性能を持つモデルにアクセスできないようにします。さらに、この量子化戦略を、コミュニケーションコストを大幅に削減するための人気のあるパラメータ効率の良いファインチューニング手法LoRAと組み合わせます。提案されたフレームワークFedLPPは、フェデレーテッドラーニングの文脈でデータとモデルのプライバシーの両方を確保することに成功しています。さらに、学習された中央モデルは優れた一般化能力を示し、資源効率的な方法で訓練することができます。