CCAFusion : Réseau d'attention coordonnée cross-modal pour la fusion d'images infrarouges et visibles

La fusion d'images infrarouges et visibles vise à générer une image avec des informations complètes. Elle peut maintenir des caractéristiques de texture riches et des informations thermiques. Cependant, pour les méthodes de fusion d'images existantes, les images fusionnées sacrifient soit la saillance des cibles thermiques et la richesse des textures, soit introduisent l'interférence d'informations inutiles telles que des artefacts. Pour atténuer ces problèmes, un réseau d'attention coordonnée cross-modal efficace pour la fusion d'images infrarouges et visibles appelé CCAFusion est proposé dans cet article. Pour intégrer pleinement les caractéristiques complémentaires, la stratégie de fusion d'images cross-modal basée sur l'attention coordonnée est conçue, comprenant le module de fusion de conscience des caractéristiques et le module de fusion d'amélioration des caractéristiques. De plus, un réseau basé sur des connexions à saut multiscale est utilisé pour obtenir des caractéristiques multiscales dans l'image infrarouge et l'image visible, ce qui permet d'exploiter pleinement les informations à plusieurs niveaux dans le processus de fusion. Pour réduire la divergence entre l'image fusionnée et les images d'entrée, une fonction de perte multiple contrainte comprenant la perte de base et la perte auxiliaire est développée pour ajuster la distribution des niveaux de gris et garantir la coexistence harmonieuse de la structure et de l'intensité dans les images fusionnées, évitant ainsi la pollution d'informations inutiles telles que des artefacts. D'importantes expériences menées sur des ensembles de données largement utilisés démontrent que notre CCAFusion atteint des performances supérieures aux méthodes de fusion d'images à la pointe de la technologie, tant dans l'évaluation qualitative que dans la mesure quantitative. De plus, l'application à la détection d'objets saillants révèle le potentiel de notre CCAFusion pour des tâches de vision de haut niveau, pouvant efficacement améliorer les performances de détection.