深度学习模型的持续训练与部署

摘要 深度学习（DL）始终超越其他机器学习方法，在多个案例中取得了最先进的性能。一些现代应用如金融和推荐系统需要不断用新数据更新的模型。保持DL模型更新的主要方法是在有足够新数据时重新进行全面训练。然而，重新训练大型和复杂的DL模型耗时且计算密集。这使得全面训练成本高、浪费且缓慢。本文提出了一种持续训练和部署DL模型的方法。首先，我们通过主动训练使持续训练成为可能，该方法将历史数据样本与新流数据结合。其次，我们通过梯度稀疏化实现持续部署，使我们能够在每次训练迭代中发送少量的模型更新。我们在MNIST上使用LeNet5和在CIFAR-10上使用现代DL模型的实验结果表明，主动训练使得模型保持更新，其性能与全面训练相当（如果不是更优）所需时间却少得多。结合梯度稀疏化，稀疏主动训练使得已部署模型实现快速更新，稀疏度任意大，每次迭代的通信量减少最多四个数量级，且几乎没有（如果有的话）模型质量损失。然而，稀疏训练是有代价的；它会增加训练的开销，取决于模型的大小，并在我们的实验中使训练时间增加1.25到3倍。在成功实现大型DL模型的持续训练和部署方面，这可以说是一个小代价。