稳定性差距的扩展范围：揭示其在同质任务的联合增量学习中的存在

最近的研究确定了在过渡到新任务时，先前学习任务的暂时性能下降。这一下降被称为稳定性差距，对持续学习有重大影响：它使得持续学习的直接应用变得复杂，因为在任务边界时的最坏情况性能非常严重，它限制了其作为一种节能训练范式的潜力，最后，稳定性下降可能导致算法的最终性能降低。在本文中，我们展示了在应用同质任务的联合增量训练时也会出现稳定性差距。在这种情况下，学习者继续在相同的数据分布上进行训练，并可以访问以前任务的所有数据。此外，我们还显示，在这种情况下，存在一条低损失的线性路径通向下一个最小值，但SGD优化并没有选择这条路径。我们进行进一步分析，包括更精细的批量分析，这可能为潜在解决方向提供见解。