RFNet: Unsupervised Netzwerk zur gegenseitigen Verstärkung der multimodalen Bildregistrierung und -fusion

In diesem Papier schlagen wir eine neuartige Methode vor, um multimodale Bildregistrierung und -fusion in einem gegenseitig verstärkenden Rahmen realisieren zu können, genannt RFNet. Wir führen die Registrierung in einer grob-zu-fein Weise durch. Zum ersten Mal nutzen wir das Feedback der Bildfusion, um die Registrierungsgenauigkeit zu fördern, anstatt sie als zwei separate Probleme zu behandeln. Die feinregistrierten Ergebnisse verbessern auch die Fusionsleistung. Insbesondere lösen wir bei der Bildregistrierung die Engpässe bei der Definition von Registrierungsmetriken, die für multimodale Bilder anwendbar sind, und ermöglichen die Netzwerkkonvergenz. Die Metriken werden basierend auf Bildtranslation und Bildfusion in den groben und feinen Phasen definiert. Die Konvergenz wird durch die gestalteten Metriken und ein deformierbares konvolutionales Netzwerk erleichtert. Bei der Bildfusion konzentrieren wir uns auf die Erhaltung der Textur, die nicht nur die Informationsmenge und die Qualität der Fusionsresultate erhöht, sondern auch das Feedback der Fusionsresultate verbessert. Die vorgeschlagene Methode wird an multimodalen Bildern mit großen globalen Parallaxen, Bildern mit lokalen Fehlanpassungen und ausgerichteten Bildern evaluiert, um die Leistungen von Registrierung und Fusion zu validieren. Die Ergebnisse in diesen Fällen zeigen die Wirksamkeit unserer Methode.