دمج الصور تحت الحمراء والمرئية باستخدام الشبكات العصبية التلافيفية

يهدف دمج الصور تحت الحمراء والمرئية لنفس المشهد إلى توليد صورة مركبة يمكن أن توفر وصفًا أكثر شمولاً للمشهد. في هذه الورقة، نقترح طريقة لدمج الصور تحت الحمراء والمرئية تعتمد على الشبكات العصبية التلافيفية (CNNs). على وجه الخصوص، يتم تطبيق شبكة تلافيفية متشابهة للحصول على خريطة أوزان تدمج معلومات نشاط البكسل من صورتين مصدر. يمكن أن تتعامل هذه الطريقة المعتمدة على CNNs مع قضيتين حيويتين في دمج الصور بشكل عام، وهما قياس مستوى النشاط وتخصيص الوزن. بالنظر إلى أساليب التصوير المختلفة للصور تحت الحمراء والمرئية، يتم إجراء عملية الدمج بطريقة متعددة المقاييس عبر هرم الصور، وتُعتمد استراتيجية قائمة على التشابه المحلي لضبط وضع الدمج بشكل تكيفي للمعاملات المنفصلة. تظهر النتائج التجريبية أن الطريقة المقترحة يمكن أن تحقق نتائج متقدمة من حيث جودة الصورة والتقييم الموضوعي.