PV-SSM：探索高维医疗数据分析的纯视觉状态空间模型

尽管之前的努力试图利用卷积神经网络和变换器作为医疗图像分析的基础网络，但它们的架构仍然存在固有的限制：要么无法建模长距离依赖，要么由于全局自注意机制导致巨大的计算消耗。近年来，状态空间模型（SSMs）在建模长期依赖方面表现出了令人印象深刻的能力，并具有令人满意的线性计算复杂性。然而，现有的医学视觉状态空间模型在捕捉片段间关系的能力有限，并且由于引入额外的深度卷积以处理高维数据而导致建模效率低下。在本文中，我们提出了一种新颖的纯视觉状态空间模型（PV-SSM）用于高维医疗数据分析。与之前的医学视觉状态空间模型不同，我们提出的框架不涉及任何卷积或全局注意操作，而是利用一系列纯状态空间模型块，采用新颖的并行状态空间机制，能够在不同维度上同时提取特征数据。此外，我们提出了一种可学习的参数化位置编码，它将绝对位置信息纳入片段特征，有效赋予片段间关系更强的推理能力。我们在各种医疗成像数据的多模态上进行了广泛的验证。实验结果表明，我们的模型在性能和有效性上优于现有模型。我们的代码可以在 https://github.com/chengwang96/PV-SSM 获得。