臨床予測モデルの幻想的な一般化可能性

統計モデルが医療治療に関する意思決定を改善できることが広く期待されています。医療成果データのコストと不足のため、この期待は通常、研究者が1つまたは2つのデータセットまたは臨床コンテキストでモデルの成功を観察することに基づいています。私たちは、統合失調症に対する抗精神病薬のいくつかの独立した臨床試験で機械学習モデルがどの程度のパフォーマンスを示したかを調査することによってこの楽観主義を精査しました。モデルは、開発された試験内で高い精度で患者の結果を予測しましたが、外部のサンプルに適用した場合は偶然より良くはなりませんでした。試験から除外された試験で結果を予測するために試験間でデータをプールしても予測は改善されませんでした。これらの結果は、統合失調症における治療結果を予測するモデルが非常に文脈依存的であり、一般化可能性が限られている可能性があることを示唆しています。