Superresolución de Imágenes de Teledetección a Gran Escala Guiada Semánticamente con Prior de Difusión Generativa

Las imágenes de teledetección capturadas por diferentes plataformas exhiben disparidades significativas en la resolución espacial. Los algoritmos de superresolución (SR) de gran factor de escala son vitales para maximizar la utilización de datos de satélite de baja resolución (LR) capturados desde la órbita. Sin embargo, los métodos existentes enfrentan desafíos para recuperar imágenes SR con texturas claras y objetos en el suelo correctos. Introducimos un nuevo marco, el Modelo de Difusión Guiada Semánticamente (SGDM), diseñado para la superresolución de imágenes de teledetección a gran escala. El marco explota un modelo generativo preentrenado como un prior para generar imágenes SR perceptivamente plausibles. Además, mejoramos la reconstrucción incorporando mapas vectoriales, que contienen pistas estructurales y semánticas. Además, las inconsistencias a nivel de píxel en las imágenes de teledetección emparejadas, derivadas de características de imagen específicas del sensor, pueden obstaculizar la convergencia del modelo y la diversidad en los resultados generados. Para abordar este problema, proponemos extraer las características de imagen específicas del sensor y modelar la distribución de estas, permitiendo la generación de diversas imágenes SR basadas en características de imagen proporcionadas por imágenes de referencia o muestreadas de las distribuciones de probabilidad de características de imagen. Para validar y evaluar nuestro enfoque, creamos el Conjunto de Datos de Superresolución Cross-Modal (CMSRD). Los experimentos cualitativos y cuantitativos en CMSRD muestran la superioridad y amplia aplicabilidad de nuestro método. Los resultados experimentales en tareas de visión posteriores también demuestran la utilidad de las imágenes SR generadas. El conjunto de datos y el código estarán disponibles públicamente en https://github.com/wwangcece/SGDM.