R2GenGPT：使用冻结的LLMs生成放射学报告

大型语言模型（LLMs）在各种语言任务中始终展现出卓越的泛化能力。然而，要充分利用LLMs在放射学报告生成（R2Gen）中的潜力仍然是一个挑战，因为LLMs和R2Gen任务之间存在固有的模态差异。为有效弥合这一差距，我们提出了R2GenGPT，这是一种新颖的解决方案，通过高效的视觉对齐模块将视觉特征与LLMs的词嵌入空间对齐。这种创新的方法使得之前静态的LLM能够无缝整合和处理图像信息，标志着优化R2Gen性能的一步进展。R2GenGPT提供了以下优势。首先，通过仅训练轻量级的视觉对齐模块，同时冻结LLM的所有参数，它达到了最先进的（SOTA）性能。其次，它展示了较高的训练效率，因为只需要训练极少数量的参数即可实现快速收敛。通过采用增量调优，我们的模型仅训练500万个参数（仅占总参数数量的0.07%），就能达到接近SOTA水平的性能。我们的代码可在https://github.com/wang-zhanyu/R2GenGPT获得。