モデル間の解釈可能性：自己教師ありモデルの事例研究

初期の機械学習モデル以来、精度や適合率のような指標は、訓練されたモデルを評価し比較するための事実上の手段となっています。しかし、単一の指標は、特にコンピュータビジョンの分野において、モデルの類似性や違いを完全には捉えていません。特定のデータセットで高い精度を持つモデルが、別のデータセットではさらに洞察がなければ低い精度を示すことがあります。この問題に対処するため、我々はDissectと呼ばれる最近の解釈技術を基に、視覚的概念（物体や材料など）に基づいて、モデルがどのように関連または補完し合うかを定義するモデル間の解釈可能性を提案します。この目的に向けて、我々は13のトップパフォーマンスの自己教師ありモデルを学習概念埋め込み（LCE）空間に投影し、学習した概念の観点からモデル間の近接性を明らかにします。また、この情報をこれらのモデルが4つのコンピュータビジョンタスクと15のデータセットで示した性能と照合しました。この実験により、モデルを3つのカテゴリーに分類することができ、異なるタスクが初めて必要とする視覚的概念の種類が明らかになりました。これはクロスタスク学習アルゴリズムの設計に向けた一歩です。