Red de fusión de imágenes infrarrojas y visibles impulsada por semántica en tiempo real

Este artículo propone un marco de fusión de imágenes infrarrojas y visibles impulsado por semántica en tiempo real (RSDFusion). Se introduce una novedosa estrategia de fusión de imágenes impulsada por semántica para maximizar la retención de información significativa de la imagen fuente en la imagen de fusión. Primero, se obtiene una imagen segmentada semánticamente de la imagen fuente utilizando un modelo de segmentación semántica preentrenado. Segundo, se obtienen máscaras de objetivos significativos de la imagen segmentada semánticamente, y estas máscaras se utilizan para separar los objetivos en las imágenes fuente y de fusión. Finalmente, se diseña la pérdida semántica local del objetivo de separación y se combina con la pérdida de similitud estructural general de la imagen para instruir a la red en la extracción de características apropiadas para reconstruir la imagen de fusión. Los resultados experimentales muestran que el RSDFusion propuesto en este artículo superó a otros métodos comparativos tanto en la evaluación subjetiva como objetiva de conjuntos de datos públicos y que el objetivo principal de la imagen fuente se conserva mejor en la imagen de fusión.