MEDIQA-CORR 2024におけるエディンバラ臨床NLP: ヒントを用いて大規模言語モデルをガイドする

MEDIQA-CORR 2024の共有タスクは、大規模言語モデル（LLM）が臨床ノートの医療エラーを特定し修正する能力を評価することを目的としています。本研究では、一般的なLLM、具体的にはGPT-3.5およびGPT-4が複数のプロンプティング戦略を用いて医療エラーを特定し修正する能力を評価します。プロンプティング戦略のみを用いて正確な修正を生成するLLMの限界を認識し、エラーのスパン予測を小型のファインチューニングモデルから2つの方法で組み込むことを提案します：1）プロンプトのヒントとして提示すること、2）LLMが最適な修正を選べるような選択肢の多い質問として構成することです。提案したプロンプティング戦略がLLMの修正生成能力を大幅に向上させることが分かりました。8-shot + CoT + ヒントを用いた当社の最良のソリューションは、共有タスクのリーダーボードで6位にランクされました。さらに、包括的な分析により、エラー文の位置、プロンプトされた役割、および選択肢の位置がLLMの精度に与える影響が示されます。これは、LLMが実正の臨床環境に実装されるための準備が整っているかどうかについて、さらなる疑問を引き起こします。