Key points are not available for this paper at this time.
一种新型的门控线性递归神经网络在一系列序列建模问题上达到了最先进的性能。这些模型自然高效地处理长序列，因为处理新输入的成本与序列长度无关。在这里，我们探讨这些有状态序列模型的另一个优点，灵感来自于通过参数插值实现模型合并的成功。基于微调和上下文学习之间的相似性，我们调查是否可以将内部状态视为可以存储、检索并线性组合的任务向量，利用递归的线性特性。我们在一个预训练的递归模型Mamba-2.8b上研究这种快速模型合并形式，并提供初步证据表明简单的线性状态插值方法足以改善下一标记困惑度以及下游上下文学习任务的性能.
Pióro等人（星期三）研究了这个问题。