Key points are not available for this paper at this time.
反向传播是训练神经网络进行监督学习的基石算法,它使用梯度下降方法通过最小化实际输出与期望输出之间的差异来更新网络权重。尽管它在推动深度学习进展中扮演了关键角色,但由于对权重对称性、全局错误计算和双相训练的要求,其生物学合理性受到质疑。为了解决这一长期挑战,许多研究努力设计生物学上合理的训练算法。然而,目前仍然难以找到一种完全符合生物学合理性的多层神经网络训练算法,且对生物学合理性的解释在研究者之间存在差异。在本研究中,我们建立了一个期望学习算法应满足的生物学合理性标准。利用这些标准,我们评估了一系列被认为是生物学上合理的现有算法,包括赫布学习、随时间变化的脉冲依赖性可塑性、反馈对齐、目标传播、预测编码、前向-前向算法、扰动学习、本地损失和基于能量的学习。此外,我们在不同的网络架构和数据集上对这些算法进行了实证评估。我们比较了这些算法所学习的特征表示与通过非侵入性设备在相同刺激下记录的大脑活动,旨在识别哪个算法最能准确复制大脑活动模式。我们期望这项研究能够激励新生物学合理算法的开发,从而在神经科学和机器学习领域推动进展。
Lv等(Sun)研究了这个问题。