用于CT报告生成的区域引导指代与定位大语言模型

计算机断层扫描（CT）报告生成对于辅助放射科医生解读CT容积至关重要，而解读CT容积通常耗时且费力。现有方法主要仅考虑整个容积的全局特征，难以聚焦于特定区域，并可能遗漏异常病变。为了解决这一问题，我们提出了Reg2RG，这是首个用于CT报告生成的区域引导指代与定位框架，通过聚焦于容积内的解剖区域来提升诊断性能。具体而言，我们利用通用分割模块生成的掩膜来捕获每个指代区域的局部特征。我们提出了一种局部特征解耦（LFD）策略，以极低的计算开销保留局部高分辨率细节。随后将局部特征与全局特征相整合，以在连贯的上下文中捕获区域间的关系。此外，我们提出了一种新型区域-报告对齐（RRA）训练策略。该策略利用对指代区域的识别来指导特定区域报告的生成，在增强模型指代与定位能力的同时，也提高了报告的可解释性。进一步采用大语言模型（LLM）作为语言解码器，从整合的视觉特征中生成报告，促进区域层面的理解。在两个大规模胸部CT报告数据集上的广泛实验证明了我们方法的优越性，其在自然语言生成和临床疗效指标方面均优于多种前沿方法，同时保持了良好的可解释性。代码可在 https://github.com/zhi-xuan-chen/Reg2RG 获取。