プルーニング、量子化、選択的更新を用いたビッグデータ分析におけるIoTのためのフェデレーテッドラーニングの加速

増え続けるIoTデバイスは膨大なデータを継続的に生成していますが、現在のクラウド中心のIoTビッグデータ分析アプローチはデータプライバシーとネットワークコストに関して公衆の懸念を引き起こしています。フェデレーテッドラーニング（FL）は、プライバシーに敏感なデータを共有することなく複数のデバイスからのローカルアップデートを集約することによってグローバルモデルを学習することにより、これらの懸念に対応する有望な技術として最近浮上しています。しかし、IoTデバイスは通常、制約された計算リソースと貧弱なネットワーク接続を持っているため、FLパターンに従って深層ニューラルネットワーク（DNN）を訓練することは実行不可能または非常に遅いです。この問題に対処するために、私たちは本論文でFL-PQSUと呼ばれる新しい効率的なFLフレームワークを提案します。これは、構造化プルーニング、重みの量子化、選択的更新の3段階のパイプラインで構成されており、計算、ストレージ、通信のコストを削減してFL訓練プロセスを加速させるために連携します。私たちは人気のDNNモデル（AlexNet、VGG16）と公に入手可能なデータセット（MNIST、CIFAR10）を用いてFL-PQSUを研究し、学習性能を保証しつつ訓練のオーバーヘッドをうまく制御できることを示します。