Masque Autoencodeur Guidé par Caractéristiques pour l'Apprentissage Auto-Supervisé en Télédétection

L'apprentissage auto-supervisé guidé par la modélisation d'images masquées, tel que le masque autoencodeur (MAE), a attiré une large attention pour le pré-entraînement des transformateurs de vision en télédétection. Cependant, le MAE tend à se concentrer excessivement sur les détails des pixels, limitant la capacité du modèle à comprendre sémantiquement, en particulier pour les images de radar à synthèse d'ouverture (SAR) bruitées. Dans cet article, nous explorons les caractéristiques spectrales et spatiales des images de télédétection comme cibles de reconstruction MAE améliorées. Nous menons d'abord une étude sur la reconstruction de diverses caractéristiques d'images, toutes performantes de manière comparable ou meilleure que les pixels bruts. Sur la base de telles observations, nous proposons le MAE guidé par caractéristiques (FG-MAE) : reconstituer une combinaison d'histogrammes de gradients orientés (HOG) et d'indices de différence normalisés (NDI) pour des images multispectrales, et reconstruire HOG pour les images SAR. Les résultats expérimentaux sur trois tâches en aval illustrent l'efficacité de FG-MAE avec un coup de pouce particulier pour l'imagerie SAR (par exemple, jusqu'à 5 % mieux que MAE sur EuroSAT-SAR). De plus, nous démontrons la scalabilité bien héritée de FG-MAE et publions une première série de transformateurs de vision pré-entraînés pour des images SAR et multispectrales à résolution moyenne.