用于连续在线学习和控制的神经网络

本文提出了一种新的混合神经网络（NN）模型，采用多阶段在线学习过程来解决具有无限时域的分布式控制问题。使用强化学习和进化算法等多种技术来设计多阶段在线学习过程。本文将无限时域分布式控制问题应用于大规模交通网络中交叉口的实时分布式交通信号控制。混合神经网络模型用于设计各自交叉口的局部交通信号控制器。由于交通流量的随机波动导致交通网络状态的变化，基于NN的局部控制器需要适应这种变化的动态，以提供有效的交通信号控制，并防止交通网络出现过度拥堵。如果局部控制器用于无限时域问题，而一旦控制器被实施到交通网络中，在线学习必须持续进行，这将是一个尤其具有挑战性的问题。利用PARAMICS微观仿真程序开发了新加坡中央商务区（CBD）一部分的全面仿真模型。随着仿真复杂性的增加，结果显示混合NN模型在评估现有交通信号控制算法及一种新型连续更新的同时扰动随机近似法神经网络（SPSA-NN）时，显著改善了交通状况。与现有交通信号控制算法相比，使用混合NN模型，每辆车的平均总延迟减少了78%，而每辆车的平均停滞时间减少了84%。这表明混合NN模型在分布式方式中解决大规模交通信号控制问题的有效性。同时，这也表明混合NN模型可以用于类似于无限时域分布式控制问题的其他应用。