Amélioration multistage basée sur des transformateurs pour la super-résolution d'images de télédétection

Les réseaux de neurones convolutifs ont réalisé une grande avancée dans les tâches récentes de super-résolution (SR) d'images de télédétection. La plupart de ces méthodes adoptent des couches de sur-échantillonnage à la fin des modèles pour effectuer un agrandissement, ce qui ignore l'extraction de caractéristiques dans l'espace de haute dimension, et limite ainsi la performance de la SR. Pour résoudre ce problème, nous proposons un nouveau cadre SR pour les images de télédétection afin d'améliorer la représentation des caractéristiques de haute dimension après les couches de sur-échantillonnage. Nous nommons la méthode proposée un réseau d'amélioration basé sur des transformateurs (TransENet), où des transformateurs sont introduits pour exploiter des caractéristiques à différents niveaux. Le cœur du TransENet est une structure d'amélioration multistage basée sur des transformateurs, qui peut être combinée avec des cadres SR traditionnels pour fusionner des caractéristiques de haute/basse dimension à plusieurs échelles. Plus précisément, dans cette structure, les encodeurs visent à intégrer les caractéristiques multi-niveaux dans la partie d'extraction de caractéristiques et les décodeurs sont utilisés pour fusionner ces embeddings encodés. Les résultats expérimentaux démontrent que notre TransENet proposé peut améliorer les résultats super-résolus et obtenir des performances supérieures à plusieurs méthodes à la pointe de la technologie.