知識蒸留によるコミュニケーション効率の良いフェデレーテッドラーニング

フェデレーテッドラーニングは、分散データからインテリジェントモデルを訓練するためのプライバシー保護型機械学習技術であり、生データではなくモデル学習の各イテレーションでローカルモデルの更新を通信することによりプライベートデータを活用できる。しかし、多くのパラメータを含む場合、モデルの更新は非常に大きくなる可能性があり、モデルの訓練には多くの通信ラウンドが必要となる。フェデレーテッドラーニングにおける膨大な通信コストは、クライアントに重い負担をかけ、環境に高い負荷をもたらす。ここでは、適応的な相互知識蒸留と動的勾配圧縮技術に基づいた通信効率が高く効果的なフェデレーテッドラーニング手法、FedKDを提案する。FedKDはプライバシー保護が必要な3つの異なるシナリオで検証され、最大で94.89%の通信コストを削減し、集中型モデル学習と競合する結果を達成できることを示した。FedKDは、インテリジェントヘルスケアやパーソナライズなど、さまざまなシナリオでプライバシー保護型インテリジェントシステムを効率的に展開する可能性を提供する。