TransMed: トランスフォーマーによる多モーダル医療画像分類の進展

過去10年間、畳み込みニューラルネットワーク（CNN）は、疾患分類、腫瘍セグメンテーション、病変検出などの医療画像分析タスクで非常に競争力のある性能を示しています。CNNは画像の局所特徴を抽出する上で大きな利点があります。しかし、畳み込み演算の局所性のため、長距離関係をうまく処理することができません。最近では、トランスフォーマーがコンピュータビジョンに応用され、大規模データセットで顕著な成功を収めています。自然画像と比較して、多モーダル医療画像は明示的で重要な長距離依存性を持ち、効果的な多モーダル融合戦略が深層モデルの性能を大幅に向上させることができます。これにより、トランスフォーマーを基にした構造を研究し、多モーダル医療画像に適用することが促されました。既存のトランスフォーマーを基にしたネットワークアーキテクチャは、より良い性能を得るために大規模データセットを必要とします。しかし、医療画像データセットは比較的小規模であるため、純粋なトランスフォーマーを医療画像分析に適用することは困難です。したがって、私たちは多モーダル医療画像分類のためにTransMedを提案します。TransMedはCNNとトランスフォーマーの利点を組み合わせて、効率的に画像の低レベル特徴を抽出し、モダリティ間の長距離依存性を確立します。私たちは、耳下腺腫瘍の分類と膝の損傷分類という2つのデータセットでモデルを評価しました。私たちの貢献を組み合わせることで、それぞれ平均精度を10.1%および1.9%改善し、他の最先端のCNNベースのモデルを上回りました。提案した方法の結果は有望であり、多くの医療画像分析タスクに適用される可能性が非常に大きいです。私たちの知る限り、これはトランスフォーマーを多モーダル医療画像分類に初めて適用した研究です。