非独立同分布数据的联邦学习

联邦学习使资源有限的边缘计算设备（如手机和物联网设备）能够学习共享的预测模型，同时保持训练数据本地化。这种去中心化的模型训练方法提供了隐私、安全、合规和经济方面的优势。在本项工作中，我们重点关注当本地数据为非独立同分布时，联邦学习所面临的统计挑战。我们首先显示，对于训练高度偏斜的非独立同分布数据的神经网络，联邦学习的准确性显著降低，最大可达55%，其中每个客户端设备仅在单一类别数据上进行训练。我们进一步表明，这种准确性降低可以通过权重发散来解释，权重发散可以通过每个设备上类别分布与总体分布之间的地球搬运工距离（EMD）来量化。作为解决方案，我们提出了一种策略，通过创建一个在所有边缘设备之间全球共享的小数据子集来改善非独立同分布数据的训练。实验表明，在仅有5%全球共享数据的情况下，CIFAR-10数据集的准确性可以提高30%。