الملخص يهدف دمج الصورة بالأشعة تحت الحمراء والمرئية (IVIF) إلى دمج الأهداف البارزة والمعلومات التفصيلية في صورة واحدة مناسبة لكل من الإدراك البشري ومعالجة الآلات. ومع ذلك، تعتمد العديد من الطرق الحالية على قواعد دمج مصممة بواسطة الإنسان، والتي تفتقر إلى القابلية للتفسير وغالبًا ما تفشل في تعزيز التفاصيل بفعالية. لمعالجة هذه القضايا، نقترح طريقة IVIF تستند إلى قواعد دمج مدفوعة بالترابط ووحدة انتباه بدون معلمات. تحتفظ هذه الطريقة بمعلومات صالحة عبر الطبقات والطرز، مع استنتاج أوزان الدمج من الترابطات بين الميزات عبر الأنماط، مما يعزز المتانة. كما نقدم وحدة انتباه بدون معلمات لتعزيز تفاصيل القوام بشكل تكيفي دون معلمات قابلة للتدريب إضافية. تُظهر النتائج التجريبية على مجموعات بيانات عامة تفوق طريقتنا في الاحتفاظ بالتفاصيل وتسليط الضوء على الأهداف، مع إظهار التقييمات الكمية تحسنًا في المقاييس مثل المتوسط المتدرج (AG) وموثوقية المعلومات البصرية (VIF) تصل إلى 12% و18% على التوالي، مقارنة بالطرق الرائجة على مجموعة بيانات LLVIP. سيتم إصدار الشيفرة المصدرية على https://github.com/CharlesShan-hub/CPFusion.
درس شان وآخرون (الثلاثاء) هذا السؤال.