医療報告生成および視覚的質問応答のための視覚-言語モデル：レビュー

医療視覚-言語モデル（VLMs）は、コンピュータビジョン（CV）と自然言語処理（NLP）を組み合わせて、視覚的およびテキストの医療データを分析します。当論文では、医療報告生成および視覚的質問応答（VQA）に特化したVLMの最新の進展をレビューします。NLPとCVの背景を説明し、両分野の手法がどのようにVLMに統合されてマルチモーダルデータから学習を可能にするかを探ります。私たちが取り上げる重要な分野は、医療視覚-言語データセットの探索、最近の注目すべき医療VLMで使用されるアーキテクチャおよび事前訓練戦略の詳細な分析、医療報告生成およびVQAにおけるVLMのパフォーマンスを評価するための評価指標についての包括的な議論を含みます。また、現在の課題を強調し、臨床的妥当性の向上や患者のプライバシー問題への対処を含む今後の方向性を提案します。全体として、私たちのレビューは、医療アプリケーションの向上のためにマルチモーダル医療データを活用するためのVLM開発の最近の進展をまとめています。