对抗图像攻击下AI诊断模型安全性的人机读者研究

尽管各方正积极推进医疗人工智能（AI）模型的开发与临床转化，AI模型的安全性问题日益凸显，但相关研究仍显匮乏。我们开展了一项研究，以调查AI诊断模型在生成对抗网络（GAN）模型生成的对抗图像攻击下的行为，并评估人类专家目测识别潜在对抗图像时的表现。在基于深度学习的乳腺癌计算机辅助诊断（CAD）中，我们的GAN模型对乳房X线摄影片中诊断敏感内容进行了蓄意修改。在我们的实验中，对抗样本误导AI-CAD模型，使其在最初正确分类的病例中有69.1%输出了错误诊断。5名乳腺影像放射科医生目测识别出了29%-71%的对抗样本。我们的研究表明，迫切需要对医疗AI模型的安全问题开展持续研究，并开发针对对抗攻击的潜在防御解决方案。