评估AI生成与医生撰写出院摘要的质量：荷兰一所学术医院EHR集成工具的评估

背景 大型语言模型（LLMs）具有通过生成出院摘要来减少临床护理行政负担的潜力。以往的评估大多局限于草稿、小规模队列或非集成环境。在现实世界实践中，缺乏对完全自动化、EHR集成系统的强有力验证。方法 本研究于2025年4月在荷兰一所学术医院进行。共评估292份来自多个科室的配对出院摘要，每份摘要包括一份医生撰写的版本和一份LLM生成的版本。摘要由八位盲审的临床医生使用5分Likert量表独立评估完整性、正确性和简洁性。可信度也被评分。采用Wilcoxon符号秩检验比较领域和总得分，并使用Gwet的AC2量化评审者间可靠性。结果 LLM生成的摘要在完整性上得分较低（4.50（4.00-5.00）vs 5.00（4.50-5.00）；p < 0.001），在正确性上得分相似（5.00（4.50-5.00）vs 5.00（4.63-5.00）；p = 0.14），但在简洁性上得分更高（5.00（4.50-5.00）vs 4.50（4.00-5.00）；p < 0.001），与医生撰写的摘要相比。总得分无显著差异（14.00（13.00-15.00）vs 14.00（13.00-15.00）；p = 0.34）。在279（95.5%）案例中，两位评审者均信任医生撰写的摘要，而LLM生成的摘要在249（85.3%）案例中被信任，34（11.6%）案例中部分信任，9（3.1%）案例中被拒绝。总得分的评审者间一致性高（LLM的AC2 0.87，95% CI 0.83-0.90；医生的AC2 0.85，95% CI 0.81-0.89）。解读 由EHR集成LLM生成的出院摘要在多个专业中的质量评级与医生撰写的文档相当，总得分无差异。与早期的试点工作不同，本研究展示了在大规模临床工作流程中自动化LLM使用的现实可行性。在适当的监督和特定专业的细化下，这些系统可以显著减少文档负担，同时保持出院摘要的质量。