皮层-纹状体回路中层次强化学习的机制 1：计算分析

越来越多的证据表明，前额叶皮层（PFC）是以层次结构组织的，前部区域具有越来越抽象的表征。这种组织如何支持层次认知控制和快速发现抽象行为规则？我们提出了不同描述层次的计算模型。神经电路模型模拟了以层次结构组织的相互作用的皮层-纹状体电路。在每个电路中，基底神经节控制额叶行为，其中一些纹状体单位控制输入到PFC，其他单位控制输出以影响反应选择。在所有这些层次上，学习通过每个皮层-纹状体电路中的多巴胺奖励预测误差信号实现。这种功能使系统能够表现出条件性如果-那么假设测试，并在具有层次结构的环境中快速学习。我们还开发了一种混合贝叶斯-强化学习的专家混合模型（MoE），该模型可以根据个体参与者的观察选择和奖励序列估计最可能的假设状态。该模型通过操控生成神经模型中的注意状态并通过MoE模型恢复这些状态，提供关于参与者关注哪些假设的准确概率估计。这种双重建模方法导致了多个定量预测，并通过伴随论文中的功能性磁共振成像进行测试.