主题再利用：保持结构的变换模型适应

我们介绍了主题再利用，这是一种保持结构的框架，用于适应预训练的变换模型。关键思想是，常见的前馈模块，包括SwiGLU FFNs，可以沿其中间通道轴精确分解为与主题对齐的组件。在中性路由下，分解的模块在初始化时计算与原始预训练块相同的函数。我们进一步引入了规模感知残差控制（SARC），这是一种保持身份的控制主题，相对于残差流调节可训练残差干预的幅度。我们还提出了作为耦合预算阈值的涌现（ECBT），这是一种条件模型，显示出在均匀预算分配下，明显的能力悬崖可能源于成比例耦合的主题有效性曲线。