Un marco general de aprendizaje de frecuencia espacial para la fusión de imágenes multimodales

La fusión de imágenes multimodales implica tareas como el aumento de resolución pan y la super resolución de profundidad. Ambas tareas tienen como objetivo generar imágenes de destino de alta resolución al fusionar la información complementaria de la guía rica en textura y sus contrapartes de baja resolución. Tienen la inherente capacidad de reconstruir información de alta frecuencia. A pesar de su conexión inherente en el dominio de frecuencia, la mayoría de los métodos existentes operan únicamente en el dominio espacial y rara vez exploran soluciones en el dominio de frecuencia. Este estudio aborda esta limitación proponiendo soluciones en ambos dominios, espacial y de frecuencia. Diseñamos una Red de Integración de Información Espacial-Frecuencia, abreviada como SFINet para este propósito. El SFINet incluye un módulo central diseñado para la fusión de imágenes. Este módulo consiste en tres componentes clave: una rama de información del dominio espacial, una rama de información del dominio de frecuencia y una interacción de doble dominio. La rama de información del dominio espacial emplea operadores neuronales invertibles equipados con convoluciones espaciales para integrar información local de diferentes modalidades en el dominio espacial. Mientras tanto, la rama de información del dominio de frecuencia adopta una transformación de Fourier profunda consciente de la modalidad para capturar el campo receptivo de la imagen a nivel global y explorar la información contextual global. Además, la interacción de doble dominio facilita el flujo de información y el aprendizaje de representaciones complementarias. Presentamos además una versión mejorada de SFINet, SFINet++, que mejora la representación de la información espacial al reemplazar la unidad de convolución básica en la rama del dominio espacial original con el operador neuronal invertible sin pérdida de información. Realizamos extensos experimentos para validar la efectividad de las redes propuestas y demostrar su rendimiento excepcional frente a métodos de vanguardia en dos tareas representativas de fusión de imágenes multimodales: aumento de resolución pan y super resolución de profundidad.