公開されたランダム化比較試験におけるCONSORTガイドライン遵守の検出のための大規模言語モデル：横断的評価研究

背景：ピアレビューのプロセスでは、Consolidated Standards of Reporting Trials（CONSORT）基準のような確立された報告ガイドラインの遵守を十分に評価できない場合がある。大規模言語モデル（LLM）は体系的な原稿評価の可能性を示しているが、既発表の臨床試験におけるCONSORTガイドラインの遵守検出の精度は未検証である。方法：本横断的研究では、2015年から2024年の間に免疫学関連ジャーナルで発表された20件のランダム化比較試験をPubMedから特定し、CONSORT 2010ガイドラインとの遵守状況を評価した。3つの大規模言語モデル（ChatGPT-4o、Gemini 2.5 Pro、Claude Sonnet 4）が37のCONSORTサブポイントにわたり独立して遵守を評価した。主な評価項目は平均CONSORT遵守率とした。副次評価項目には、90％の遵守閾値を満たす論文の割合およびLLM間の評価一致度を含む。統計解析は反復測定ANOVAと事後のペアワイズ比較（α=0.05）で行った。結果：平均CONSORT遵守率は、ChatGPT-4oが81％（95％CI：77-85％）、Claude Sonnet 4が68％（61-75％）、Gemini 2.5 Proが55％（48-62％）であった。すべてのLLMによる全体的な遵守率は68％（64-72％）であった。90％の遵守閾値を品質基準とすると、ChatGPT-4oは論文の25％（5/20）、Claude Sonnet 4は5％（1/20）、Gemini 2.5 Proは0％（0/20）を基準を満たすと判断した。反復測定ANOVAの結果、LLM間に有意なパフォーマンス差が認められた（F(2,38)=40.79、p<0.001、部分η^2=0.682）。モデル間のすべてのペアワイズ比較は統計的に有意であった（p≤0.002）。結論：大規模言語モデルは、既発表のランダム化試験におけるCONSORT遵守の欠如を検出し、既報告の60-70％の遵守率と整合した。これにより、報告品質の継続的な問題を特定する精度が検証された。LLM間の大きな評価差は、標準化された評価プロトコルの必要性を示している。これらの知見は、LLM支援の原稿評価が確立された報告ガイドラインの遵守改善に寄与する可能性を支持する。