关于小批量重球动量的快速收敛

摘要 简单的随机动量方法在机器学习优化中被广泛使用，但它们良好的实际表现与文献中缺乏加速的理论保证相悖。在这项工作中，我们旨在通过表明随机重球动量在二次优化问题上保留（确定性）重球动量的快速线性速度，至少在小批量具有足够大的批量大小时，来弥合理论与实践之间的差距。我们研究的算法可以被解释为具有小批量和重球动量的加速随机Kaczmarz算法。分析依赖于仔细分解动量转移矩阵，并使用独立随机矩阵乘积的新谱范数集中界限。我们提供数值示例，证明我们的界限是相当准确的。