フェデレーテッドラーニングにおける勾配更新伝送のためのエンドツーエンド暗号化ニューラルネットワーク

フェデレーテッドラーニングは、ローカルで計算された勾配更新を集約することによって共有モデルをトレーニングする分散学習手法です。フェデレーテッドラーニングでは、帯域幅とプライバシーが勾配更新伝送の2つの主要な懸念事項です。本稿では、勾配更新伝送のためのエンドツーエンド暗号化ニューラルネットワークを提案します。このネットワークは、各クライアントで入力勾配更新を低次元空間にエンコードし、フェデレーテッドラーニングにおけるデータ通信の負担を大幅に軽減します。エンコードされた勾配更新は、サーバー上のネットワークのデコーディング層で、1つのまとまりとして直接回復されます。すなわち、訓練されたモデルの集約された勾配更新です。このようにして、各クライアントで暗号化された勾配更新は、通信中に傍受されることを防がれるだけでなく、サーバーにとっても不明なままとなります。暗号化ニューラルネットワークに基づいて、実際のアプリケーションで新しいフェデレーティッドラーニングフレームワークが設計されています。実験結果は、提案されたネットワークがフェデレーテッドラーニングにおけるモデルの精度を少し犠牲にすることで、プライバシー保護とデータ圧縮の2つの目標を効果的に達成できることを示しています。