从范例学习的统计力学

在统计力学框架内研究了前馈神经网络中从范例学习的过程。假设训练是随机的，导致网络的吉布斯分布，其特征由一个温度参数T决定。考虑了可实现规则和不可实现规则的学习。在后一种情况下，目标规则无法被给定架构的网络完美实现。研究了两种有用的从范例学习的近似理论：高温极限和退火近似。通过精确处理由随机采样范例产生的淬火无序，使用了复制理论。主要关注的是泛化曲线，即平均泛化误差₆与用于训练的范例数P的关系。理论表明，为了在大N极限下保持₆的有限降低，P通常应按比例缩放，其中N是网络中可独立调节权重的数量。我们展示，对于平滑网络，即权重连续变化且传递函数平滑的网络，泛化曲线渐近服从反幂律。相反，对于非平滑网络，行为可能不同，取决于非线性的性质以及规则的可实现性。特别地，非平滑网络学习可实现规则时，可能出现从泛化性能差到完美泛化的非连续学习转变。我们通过详细的分析和数值研究几个单层感知器模型，展示了渐进和连续的学习过程。与感知器学习的精确复制理论比较发现，对于可实现规则，高温和退火理论对泛化性能提供了很好的近似。假设多层网络也适用该结论，我们提出了可实现模型中学习曲线可能渐近形式的分类。对于不可实现规则，发现上述近似一般无法正确预测泛化曲线的形状。另一个表明淬火无序对不可实现规则重要性的迹象是泛化误差不必是温度的单调递增函数。此外，不可实现规则可能具有真正的自旋玻璃相，表明存在被高势垒分隔的简并极小值。