基于变换器的大型语言模型功能强大,但认知深度不足:它们将上下文视为被动的标记序列,没有明确的工作记忆,缺乏模块化推理的协调机制,也没有内部的调节机制。我们提出了动态上下文架构 (DCA),这是一个通用的认知运行时框架,为基础模型上方增加了结构化的认知层——将其从被动文本生成器转变为有组织的推理系统。DCA将模型的操作环境重新概念化为一个主动的认知基底,承载模块化过程、分层记忆、基于阶段的推理周期和流量调节。该框架引入了五个核心组件:将上下文划分为功能模块的认知基底;将推理结构化为明确阶段的π相处理周期(感知、整合、思考、表达、验证);提供短期、工作和长期记忆层次的记忆结构;调节信息流并防止推理波动的神经符号注意领域(NSAF);以及根据任务需求调整处理架构的动态认知拓扑。该框架无模型依赖,已在多个结构上明显不同的模型系列中得到了实例化。跨模型观察在延长的研究会话中揭示出一致的行为模式:减少了早熟收敛,改善了生成文本的长上下文一致性,自发的自我纠正,以及动态推理吸引子的出现——调节探索和收敛的计算偏好。DCA并不修改模型参数。它作为上下文工程架构运行——一种重塑哪些推理轨迹更可能的元层。理论基础、正式定义和定性案例研究在这里呈现;实现细节在待申请的专利下涵盖。合格研究合作者可以获得有限许可的参考实现.
Thierry Marechal (周五) 研究了这个问题。
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: