虚拟染色技术通过深度学习实现无标记成像到荧光特异性成像的转换,能够显著降低活细胞成像的复杂性和光毒性,从而实现多通道、高通量、长时程的高分辨率成像,对生物医学研究具有重要意义。现有方法多依赖配对数据的有监督学习,为降低虚拟染色对配对数据的依赖,并进一步提升生成图像的质量,本文提出一种融合掩码自监督机制的无监督虚拟染色框架MVS-CycleGAN。该方法无需配对图像,通过引入随机掩码重建任务,遮挡输入图像的部分区域并强制网络利用语义信息进行补全,使模型能够同时捕捉目标域的全局形态和局部纹理,有效施加语义约束,从而缓解传统无监督模型在跨域转换中常见的语义漂移问题。在三类细胞数据集上的实验表明,MVS-CycleGAN整体优于传统方法:FSIM在BJ-5ta细胞膜/细胞核分别为0.784和0.565,HEK293T为0.854/0.830,Neuromast为0.657/0.740(分别提升了1.03%、9.50%、1.07%、0.85%、1.08%、5.56%)。此外,下游分割实验进一步证实了虚拟染色图像在定量分析中的有效性。研究结果表明,该方法为虚拟染色技术在多样化生物医学场景中的应用提供一种可行的解决思路。
LIN et al. (Thu,) studied this question.