無作為化臨床試験記事の報告品質に関する大規模言語モデル分析

重要性 無作為化臨床試験 (RCT) における不完全な報告はバイアスを隠し、再現性を制限します。統一試験報告基準 (CONSORT) ガイドラインへの遵守を手動で監査することは、発表量に追いつけません。目的 自動 CONSORT 評価のためのゼロショット大規模言語モデル (LLM) パイプラインを構築し、検討の質を時間、バイオメディカル分野、および試験要素にわたって地図化する。デザイン、設定、参加者 この系統的レビューには、PubMed にインデックスされ、英語で利用可能でオープンアクセスの人間参加者研究として、1966年を開始年として2024年までに発表されたRCTが含まれました。PubMed の PDFは XML に変換され、Semantic Scholar および ClinicalTrials.gov のメタデータとリンクされました。Chat GPT-4o-mini は、専門家によって監査された70件の無作為化試験に対してチェックされた50件の論文 CONSORT – テキスト分類モデル (CONSORT-TM) ベンチマークでテストされ、その後、全サンプルに適用されました。曝露 発表年、バイオメディカル分野、資金源、試験段階、米国食品医薬品局の規制、および監視機能。主要な結果と測定 LLM は21の CONSORT項目のうち各々が満たされたかを判断しました。主な結果は (1) モデルのパフォーマンスと専門家のレビュー (適合率、再現率、マクロ F1 スコア) と (2) 報告された項目の割合でした。結果 53,137件のスクリーニングされたPDFのうち、21,041のRCT（中央値 IQR 発表年、2014 2003-2020 ; 30分野）を含み、登録と紐づけられた1790のRCTのサブセットは、中央値（IQR）210人（95-440人）の計画受講者を持ちました。70件の記事の検証セット（2210の決定）において、LLMの出力は専門家と91.7%一致しました（2210の決定中2026件）。CONSORT-TM におけるマクロ F1 スコアは0.86（95% CI、0.84-0.87）でした。CONSORT遵守の平均は、1966年から1990年まで27.3%（95% CI、27.0%-27.6%）から、2010年から2024年まで57.0%（95% CI、56.8%-57.2%）に増加しました。しかし、割り当ての隠蔽メカニズム（16.1%、95% CI、15.6%-16.6%）や外部妥当性の議論（1.6%、95% CI、1.5%-1.8%）など、重要な要素の報告は依然としてまれでした。遵守は、薬理学で35.2%（95% CI、34.8%-35.6%）、泌尿器学で63.4%（95% CI、62.1%-64.7%）と分野によって大きく異なり、臨床試験の特性ともわずかな関係しか示しませんでした（すべて Cramer V <0.10）。結論と関連性 このRCTの系統的レビューにおいて、ゼロショット LLM がスケールで CONSORT の遵守を監査し、報告のギャップとバイオメディカル分野にわたる広範なばらつきを明らかにし、透明性と再現性を向上させるためのターゲットを絞った編集行動の必要性を強調しました。