CMID: リモートセンシング画像理解のための統一された自己監督学習フレームワーク

自己監督学習（SSL）は、人間によって注釈が付けられたラベルなしでタスクに依存しない表現を学ぶ能力により、リモートセンシング（RS）および地球観測（EO）コミュニティで広く注目を集めています。しかし、既存のRS SSL手法のほとんどは、グローバルなセマンティックセパラブルまたはローカルなスペーシャルパーセプタブルのいずれかの表現を学ぶことに制限されています。この学習戦略はRSの領域においては最適ではないと主張します。なぜなら、異なるRSダウンストリームタスクに必要な表現はしばしば多様で複雑だからです。本研究では、RS画像の表現学習により適した統一されたSSLフレームワークを提案しました。提案されたSSLフレームワークであるコントラストマスク画像蒸留（CMID）は、自己蒸留方式でコントラスト学習（CL）とマスク画像モデリング（MIM）を組み合わせることによって、グローバルなセマンティックセパラビリティとローカルなスペーシャルパーセプタビリティの両方を持つ表現を学ぶことができます。さらに、CMID学習フレームワークはアーキテクチャ非依存であり、畳み込みニューラルネットワーク（CNN）とビジョントランスフォーマー（ViT）の両方と互換性があり、CMIDをRS理解のためのさまざまな深層学習（DL）アプリケーションに容易に適用できるようにします。4つのダウンストリームタスク（すなわち、シーン分類、セマンティックセグメンテーション、物体検出、および変化検出）について包括的な実験が行われ、CMIDを用いて事前学習したモデルが他の最先端のSSL手法よりも複数のダウンストリームタスクにおいて優れた性能を達成することが示されました。コードと事前学習モデルは、SSL研究を促進し、RS画像DLアプリケーションの開発を加速するために、https://github.com/NJU-LHRS/official-CMID で提供される予定です。