آلية الانتباه التمييزي المدمجة للتقسيم الدلالي بمراقبة ضعيفة

يستخدم التقسيم الدلالي بمراقبة ضعيفة (WSSS) مع التوضيح على مستوى الصورة خرائط تنشيط الفئة من المصنف كوسوم زائفة للتقسيم الدلالي. ومع ذلك، فإن هذه الخرائط التنشيطية عادةً ما تبرز المناطق المحلية التمييزية بدلاً من الجسم بالكامل، وهو ما يبتعد عن متطلبات التقسيم الدلالي. لاستكشاف خرائط تنشيط فئات أكثر شمولاً، نقترح آلية انتباه تمييزية مدمجة (EDAM) بدمج توليد خريطة التنشيط مباشرة في شبكة التصنيف لـ WSSS. بالتحديد، تم تصميم طبقة التنشيط التمييزي (DA) لإنتاج سلسلة من الأقنعة المُعيّرة الخاصة بكل فئة بشكل صريح، والتي تُستخدم بعد ذلك لتوليد وسوم زائفة على مستوى البكسل خاصة بكل فئة كما هو مطلوب في التقسيم. لتعلم الوسوم الزائفة، تُضرب الأقنعة مع خرائط الميزات بعد العمود الفقري لتوليد خرائط التنشيط التمييزية، حيث يُشفر كل منها المعلومات الخاصة بالفئة المقابلة في الصور المدخلة. نظرًا لهذه الخرائط التنشيطية الخاصة بالفئات، يُقترح وحدة انتباه متعددة تعاونية (CMA) لاستخلاص المعلومات التعاونية لكل فئة معينة من الصور ضمن دفعة. خلال الاستدلال، نستخدم مباشرة أقنعة التنشيط من طبقة DA كوسوم زائفة للتقسيم. استنادًا إلى الوسوم الزائفة المولدة، نحقق متوسط التقاطع فوق الاتحاد (mIoU) بنسبة 70.60% على مجموعة اختبار التقسيم PASCAL VOC 2012، وهو أفضل نتيجة حديثة حسب علمنا. الرمز والنماذج المدربة مسبقًا ستكون متاحة عبر الإنترنت قريبًا.