NLRNet : Un réseau résiduel d'attention non locale efficace pour le pansharpening

Les images de télédétection contiennent souvent de nombreux composants similaires, tels que des bâtiments, des routes et des surfaces d'eau, qui ont des spectres et des structures spatiales similaires. Bien que les réseaux de neurones convolutionnels (CNN) basés sur l'apprentissage résiduel puissent offrir d'excellentes performances en pansharpening, les méthodes existantes n'exploitent pas pleinement l'information intrinsèquement similaire dans les images. De plus, comme l'opération de convolution se concentre sur la région locale, même dans un réseau profond, il est difficile d'obtenir des informations globales indépendantes de la position. Dans cet article, un réseau résiduel d'attention non locale efficace (NLRNet) est proposé pour capturer les dépendances contextuelles similaires de tous les pixels. Plus précisément, pour réduire la difficulté de l'entraînement du réseau causée par l'attention non locale originale, nous proposons un mécanisme d'attention non locale efficace (ENLA) et utilisons la technologie de résidu avec initialisation à zéro (ReZero) pour faciliter la propagation du signal à travers le réseau. De plus, un module d'agrégation spectral (SpecAM) est proposé pour générer des images fusionnées et ajuster les informations spectrales correspondantes. Les résultats expérimentaux pour les ensembles de données QuickBird et WorldView3 montrent que la méthode proposée est compétitive avec d'autres méthodes avancées basées sur l'évaluation de la qualité et la perception visuelle.