基于二值与模拟神经元的储备池计算中的连接性、动力学与记忆

储备池计算（RC）系统是对输入序列进行在线计算的强大模型。它们由一个在随机连接的循环神经网络之上训练的无记忆读出神经元组成。RC 系统通常有两种形式：在循环回路中使用模拟神经元或二值（脉冲）神经元。先前的研究表明，这两种 RC 理念的实现在行为上存在根本差异。由二值神经元构建的 RC 系统的性能似乎高度依赖于网络连接结构。而在模拟神经元网络中，尚未观察到这种明显的依赖性。在本文中，我们通过研究网络连接性（以神经元入度参数化）对在模拟网络和二值网络之间进行插值的一族网络模型的影响，来探讨这一明显的二分现象。我们的分析基于借助分支过程理论对网络动力学 Lyapunov exponent 的全新估计、用于评估循环网络核质量和泛化能力的秩度量，以及一种用于计算性能的新型平均场预测器。这些分析表明，二值回路在有序和混沌网络行为之间的相变在性质上不同于模拟回路，从而导致在短时间尺度和长时间尺度上的信息整合存在差异。这解释了在密集连接的二值回路中观察到的计算性能下降现象。该平均场预测器还被用于界定二值神经元循环回路的记忆函数。