Key points are not available for this paper at this time.
我们在多层网络中对在线梯度下降学习进行了分析和数值研究。训练基于随机抽取的输入及其对应的输出，这些输出由目标规则定义。在热力学极限下，我们推导出了问题的序参量的确定性微分方程，这允许对泛化误差的演变进行精确计算。首先，我们考虑具有Sigmoid激活函数的单层感知器，该感知器学习由相同架构的网络定义的目标规则。对于该模型，如果学习率足够小，泛化误差将随着训练样本数量的增加而指数衰减。然而，如果学习率超过临界值，完美学习将不再可能。对于具有隐藏层和固定的隐含到输出权重的架构，例如奇偶性和委员会机器，我们发现与这些问题的对称性存在相关的额外效应.
Biehl等（1995）研究了这个问题。
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: