带有噪声标签的深度学习面临重大挑战。在本研究中，我们从特征学习的角度理论上描述了标签噪声的作用。具体而言，我们考虑一个信号-噪声数据分布，在该分布中，每个样本包含一个依赖于标签的信号和一个独立于标签的噪声，并严谨地分析了在此数据设置下的双层卷积神经网络的训练动态，以及标签噪声的存在。我们的分析确定了两个关键阶段。在阶段 I 中，模型完美地拟合所有干净样本（即，没有标签噪声的样本），而忽略了噪声样本（即，有噪声标签的样本）。在这一阶段，模型从干净样本中学习信号，并在未见数据上具有良好的推广能力。在阶段 II 中，随着训练损失的收敛，噪声方向的梯度超过信号方向的梯度，导致对噪声样本的过拟合。最终，模型记住噪声样本中的噪声，降低了其推广能力。此外，我们的分析为两种广泛使用的应对标签噪声的技术提供了理论基础：提前停止和样本选择。在合成和真实世界的实验中验证了我们的理论。
Han 等人（Sat，）研究了这个问题。