医療診断のためのスパース性およびハイブリディティに基づく視覚パラメータ効率的微調整

大規模ビジョンモデル（LVM）の成功は、大量のデータボリュームを伴い、医療診断においては非常に高価です。この問題に対処するために、最近の努力はパラメータ効率的微調整（PEFT）を活用しており、これは他の重みを固定しながら少数の重みを訓練します。しかし、一般的には、タスクの違いに関係なく、ヒューリスティックな方法でLVM内の同じ位置に訓練可能な重みを割り当てるため、医療診断のような専門的なアプリケーションには最適ではありません。これに対処するために、診断をターゲットとした微調整中のスパース性とハイブリディティの本質を統計的に明らかにします。つまり、少数の重要な重みがパフォーマンスに大きな影響を与え、これらの重要な重みはハイブリッドで、タスク固有の部分とタスク非依存の部分の両方を含んでいます。これに基づき、スパース性およびハイブリディティにインスパイアされたパラメータ効率的微調整（SH-PEFT）を提案します。これは、重要性に基づいて少数の重みを選択して訓練し、その重要性はタスク固有とタスク非依存の戦略を組み合わせて革新的に推定されます。異なるモダリティの6つの医療データセットで検証した結果、SH-PEFTは、精度の観点からLVMを医療診断に移行する際、最先端のパフォーマンスを達成することを示しました。約0.01%の重みを調整することで、完全なモデル微調整を上回ります。さらに、SH-PEFTは特定の医療タスクのために意図的に最適化された他のモデルと同等のパフォーマンスも達成しています。広範な実験は各設計の有効性を示し、大規模モデルの転送が医療診断において大きな潜在能力を持つことを明らかにします。