FedGPD：異種フェデレーテッド学習におけるグローバルプロトタイプ蒸留

要約 フェデレーテッド学習は、プライベートなトレーニングデータが分散クライアント上にローカルに残る中で、高品質なグローバルモデルを共同でトレーニングすることを目的とした分散型機械学習のパラダイムです。しかし、クライアント間の異種データ分布はフェデレーテッド学習システムにとって非常に困難であり、モデルの品質を著しく低下させます。この課題に対処するために、異種フェデレーテッド学習のためのグローバルプロトタイプ蒸留（FedGPD）が提案され、グローバルモデルのパフォーマンスを改善します。直感的には、グローバルクラスプロトタイプを知識として利用し、クライアント側でのローカルトレーニングを指導します。最終的に、ローカルの目標はグローバルな最適に一致し、FedGPDは改善されたグローバルモデルを学習します。実験結果は、FedGPDがわずかな通信オーバーヘッドのコストで以前の最先端手法を上回ることを示しています。