随着病理基础模型的快速发展,针对下游任务的高效微调策略的需求不断增加。然而,现有的参数高效微调方法在很大程度上缺乏任务特异性,对组织病理图像的泛化能力有限,尤其是对未见过的癌症和染色,由于染色的显著变异性和组织微环境的复杂性。为了解决这些挑战,我们提出了组织病理学引起的适配器(HiAdapter),该适配器将特定领域的染色和成像机制分析纳入其中。HiAdapter通过染色不变适配器(S-Adapter)重构染色不变的表示,并通过形态感知适配器(M-Adapter)整合形态特征,有效缩小低级光学特性与高级组织语义之间的差距。此外,我们引入了一种病理原型对比损失(PPCLoss),以减少类别间相似度并减轻类别内异质性,从而增强特征的可辨别性。对包括两个公共数据集、一个骨肉瘤组织分类数据集(56,178片)和一个软骨肉瘤坏死分类数据集(3,867片)以测试未见癌症的泛化能力,以及一个IHC染色数据集(4,967片)和一个HIF1A IHC染色数据集(4,433片)以测试未见染色的泛化能力,在三个病理基础模型(CTransPath、CONCH和UNI)上进行了广泛实验,结果证明HiAdapter在效率和准确性上均表现出色。HiAdapter在F1得分上平均提高了2.15,在准确性上提高了1.55,保持了强大的生物学和诊断可解释性。对一个独立的骨肉瘤数据集(9,535片)和WSI级生存分析(178张幻灯片)的外部验证进一步确认了其优越的泛化能力,并强调了在临床实践中对患者级诊断和预后的潜力。我们的代码可在HiAdapter获取。
刘等人(星期四)研究了这个问题。