أظهرت طرق دمج الصور تحت الحمراء والمرئية نتائج واعدة، إلا أن الطرق الحالية إما تضر بأداء الكشف اللاحق من خلال عمليات دمج مستقلة أو تضحي بالكفاءة الحاسوبية والمرونة بسبب الحاجة إلى تدريب مشترك لنماذج الدمج والكشف. لمعالجة هذه التحديات، نقترح شبكة دمج الصور مدفوعة بالكشف تعتمد على نماذج الانتشار (مسماة DDIF)، التي تحسن الصور المدمجة خصيصًا لمهام كشف الأجسام. تتميز طريقتنا بالجوانب الثلاثة التالية: 1) نعيد صياغة عملية دمج الصور كمشكلة عكسية تُحل عبر عملية تحسين غير قابلة للاشتقاق حيث يحافظ الناتج المدمج على معلومات المصدر مع التوافق مع الأولية الصورية المقدمة من نموذج الانتشار. 2) نصمم وحدة تعلم دليل الاستجابة (RGLM) لتعلم خرائط الاستجابة التي تحدد مساهمة كل نمط في عملية الدمج حسب مهمة الكشف اللاحقة. 3) نؤسس علاقات تدرج صريحة لضمان التوافق بين تدريب RGLM وعملية التحسين غير القابلة للاشتقاق، مما يُمكّن التدريب الشامل من البداية للنهاية. الجدير بالذكر، أن آلية ربط معتدلة تُنشأ في إطارنا حيث يتم تدريب نموذج الكشف اللاحق مسبقًا وتثبيته، مما يتيح تكاملًا مرنًا مع مختلف شبكات الكشف المتقدمة مع الحفاظ على الكفاءة الحاسوبية. تشير التجارب الموسعة إلى أن طريقتنا تحقق أداء كشف متفوقًا مقارنة بالطرق الحديثة وتنتج نتائج دمج صور عالية الجودة.
درس هوانغ وآخرون (Thu,) هذا السؤال.