大規模言語モデルの能力評価：外科的知識評価におけるGPT4のパフォーマンス

背景：人工知能（AI）は、疾患の診断と治療の方法を向上させることで医療を大きく変革する可能性を秘めています。一つの有望なAIモデルはChatGPTで、OpenAIによって訓練された大規模な汎用言語モデルです。このチャットインターフェイスは、いくつかの専門的および学術的なベンチマークで堅実な人間レベルのパフォーマンスを示しています。私たちは、外科的症例に関する質問に対するそのパフォーマンスと時間に伴う安定性を調査しようとしました。方法：私たちは、外科教育評議会（SCORE）の2つの外科的知識評価と、データBと呼ばれる2番目の一般的に使用される知識評価におけるChatGPT-4のパフォーマンスを評価しました。質問はオープンエンドと選択肢の2つの形式で入力されました。ChatGPTの出力は、外科医評価者によって正確性と洞察の観点から評価されました。モデルエラーの理由と再現時のパフォーマンスの安定性を分類しました。結果：合計167のSCOREおよび112のData-Bの質問がChatGPTインターフェイスに提示されました。ChatGPTは、選択肢のあるSCOREおよびData-Bの質問のそれぞれ71％および68％に正しく回答しました。オープンエンドと選択肢の質問の両方に対して、ChatGPTの応答のおよそ3分の2には明白でない洞察が含まれていました。不正確な応答の一般的な理由には、複雑な質問における不正確な情報（n=16、36.4％）、事実に基づく質問における不正確な情報（n=11、25.0％）、及び状況に応じた不一致を伴う正確な情報（n=6、13.6％）が含まれました。再クエリ時に、ChatGPTが選択した回答は不正確な質問の36.4％で変動し、回答の正確性は16件中6件の質問で変化しました。結論：以前の発見と一致して、我々は外科領域におけるChatGPTの堅実な人間レベルに近いまたはそれ以上のパフォーマンスを示します。この研究に特有な点は、再クエリ時にChatGPTの応答に大きな不一致があることを示すことです。この発見は将来の考慮を必要とし、安全で一貫した応答を提供するためにこれらのモデルをさらに訓練する機会を提供します。精神的および/または概念的なモデルなしでは、ChatGPTのような言語モデルが臨床医を安全に支援できるかどうかは不明です。