Rede de Fusão de Imagens Infravermelhas e Visíveis Orientada por Semântica em Tempo Real

Este artigo propõe um framework de fusão de imagens infravermelhas e visíveis orientada por semântica em tempo real (RSDFusion). Uma nova estratégia de fusão de imagens orientada por semântica é introduzida para maximizar a retenção de informações significativas da imagem fonte na imagem de fusão. Primeiro, uma imagem segmentada semânticamente da imagem fonte é obtida usando um modelo de segmentação semântica pré-treinado. Em segundo lugar, máscaras de alvos significativos são obtidas da imagem segmentada semânticamente e essas máscaras são usadas para separar os alvos nas imagens fonte e de fusão. Por fim, a perda semântica local do alvo de separação é projetada e combinada com a perda de similaridade estrutural geral da imagem para instruir a rede a extrair características apropriadas para reconstruir a imagem de fusão. Resultados experimentais mostram que o RSDFusion proposto neste artigo superou outros métodos comparativos tanto na avaliação subjetiva quanto objetiva de conjuntos de dados públicos, e que o alvo principal da imagem fonte é melhor preservado na imagem de fusão.