Superresolución espectral mediante red de fusión cruzada guiada por modelo

La superresolución espectral, que reconstruye una imagen hiperespectral (HSI) a partir de una sola imagen roja-verde-azul (RGB), ha adquirido cada vez más atención. Recientemente, las redes neuronales convolucionales (CNN) han logrado un rendimiento prometedor. Sin embargo, a menudo no logran explotar simultáneamente el modelo de imagen de la superresolución espectral y las características complejas espaciales y espectrales de la HSI. Para abordar los problemas mencionados, construimos una nueva red guiada por modelo basada en fusión cruzada (CF) (llamada SSRNet) para la superresolución espectral. Específicamente, basándonos en el modelo de imagen, desplegamos la superresolución espectral en el módulo de aprendizaje previo de HSI (HPL) y el módulo de guía del modelo de imagen (IMG). En lugar de modelar solo un tipo de previo de imagen, el módulo HPL está compuesto por dos subredes con diferentes estructuras, las cuales pueden aprender efectivamente los complejos previos espaciales y espectrales de la HSI, respectivamente. Además, se utiliza una estrategia CF para establecer la conexión entre las dos subredes, lo que mejora aún más el rendimiento de aprendizaje de la CNN. El módulo IMG da como resultado la resolución de un problema de optimización convexa fuerte, que optimiza y fusiona adaptativamente las dos características aprendidas por el módulo HPL aprovechando el modelo de imagen. Los dos módulos están conectados de manera alterna para lograr un rendimiento óptimo de reconstrucción de HSI. Los experimentos realizados tanto en datos simulados como reales demuestran que el método propuesto puede lograr resultados de reconstrucción espectral superiores con un tamaño de modelo relativamente pequeño. El código estará disponible en https://github.com/renweidian.