يعد دمج البيانات من أجهزة الاستشعار المرئية (RGB) والأشعة تحت الحمراء (IR) أمرًا أساسيًا لاكتشاف الأجسام بشكل قوي طوال اليوم وفي جميع الأجواء. ومع ذلك، تعاني الطرق الحالية غالبًا من تكرار في الأنماط وتداخل الضوضاء. لمعالجة هذه التحديات، نقترح شبكة دمج الانتباه المفصولة والمتميزة (DDAF-Net). معماريًا، تستخدم DDAF-Net هيكلًا مفصولًا مع استراتيجية مشاركة الوزن السيامية لاستخراج الميزات المشتركة بين الأنماط، بينما تلتقط الفروع المتوازية الميزات المحددة لكل نمط. لدمج هذه الميزات بشكل فعال، نصمم وحدة دمج الانتباه المتميزة (DAFM). أولاً، نintroduce تحويل الفضاء المتبقي غير المرتب (SRUE) لتحقيق تقليل الحجم دون فقدان البيانات مع الحفاظ على المعلومات السيميائية العالمية. ثانيًا، يتم تطبيق آليات الانتباه المتميزة لتعزيز الميزات: يسهل اهتمام محاذاة القوانين الثنائية (DNAA) المحاذاة الفعالة بين الأنماط ويعزز الاتساق الدلالي في الميزات المشتركة بين الأنماط، بينما يمكّن اهتمام التنقية النادرة (SPA) الاستخدام الانتقائي للمعلومات التكميلية من خلال قمع الضوضاء والتركيز على المناطق البارزة في الميزات المحددة لكل نمط. أخيرًا، تدمج وحدة الدمج التكميلية المرنة (ACFM) هذه المكونات باستخدام الميزات المشتركة كخط أساسي ووزن المعلومات التكميلية المحددة لكل نمط بشكل ديناميكي. تظهر التجارب الواسعة على مجموعات البيانات العامة مثل LLVIP وM3FD أن DDAF-Net تحقق أداءً رائدًا في هذا المجال. تؤكد هذه النتائج فعالية مفهوم الفصل - التعزيز - الدمج المقترح لدينا.
قام يو وآخرون (Fri,) بدراسة هذا السؤال.