基于变压器的去噪扩散概率模型的2D医学图像合成

摘要 目标。人工智能（AI）方法在医学影像研究中得到了广泛关注。成功部署AI模型所需的训练图像数据集的规模和范围并不总是理想的。在本文中，我们介绍了一种旨在解决AI模型训练数据集有限挑战的医学图像合成框架。方法。所提出的2D图像合成框架基于使用Swin-transformer网络的扩散模型。该模型由前向高斯噪声过程和使用基于变压器的扩散模型进行去噪的逆过程组成。训练数据包括四个图像数据集：胸部X光，心脏MRI，盆腔CT和腹部CT。我们通过三位医学物理学家进行的视觉图灵评估，以及四个定量评估来评估合成图像的真实性、质量和多样性：生成分数（IS），Fréchet生成距离分数（FID），特征相似性和多样性分数（DS，表示多样性相似性）在合成图像与真实图像之间。为了利用该框架的价值进行AI模型训练，我们使用真实图像、合成图像和两者的混合图像进行COVID-19分类任务。主要结果。视觉图灵评估显示平均准确率为0.64（准确率趋近于50%指示合成图像更具真实视觉外观），敏感性为0.79，特异性为0.50。所有数据集中获得的平均定量准确率为IS = 2.28，FID = 37.27，FDS = 0.20，以及DS = 0.86。在COVID-19分类任务中，基线网络使用纯真实数据集获得0.88的准确率，使用纯合成数据集获得0.89的准确率，以及使用包含真实和合成数据的混合数据集获得0.93的准确率。意义。展示了一种医学图像合成框架，能够生成不同成像模态的高质量医学图像，以补充现有的AI模型部署训练集。这种方法在许多数据驱动的医学影像研究中具有潜在应用价值。