استكشاف النماذج الخاصة بالصورة المعتمدة على التعلم الذاتي لتقسيم الدلالات بصورة ضعيفة الإشراف

لقد جذبت تقنية تقسيم الدلالات بصورة ضعيفة الإشراف (WSSS) المعتمدة على تسميات بمستوى الصورة الكثير من الانتباه بسبب انخفاض تكاليف التعليق. غالبًا ما تعتمد الأساليب الحالية على رسم خرائط تفعيل الفئة (CAM) التي تقيس العلاقة بين بكسلات الصورة ووزن المصنف. ومع ذلك، يركز المصنف فقط على المناطق التمييزية مع تجاهل معلومات مفيدة أخرى في كل صورة، مما يؤدي إلى خرائط تحديد غير مكتملة. لمعالجة هذه المشكلة، نقترح استكشاف النماذج الخاصة بالصورة المعتمدة على التعلم الذاتي (SIPE) التي تتكون من استكشاف نماذج خاصة بالصورة (IPE) وخسارة التناسق العام والخاص (GSC). بشكل محدد، يقوم IPE بتكييف النماذج لكل صورة لالتقاط المناطق الكاملة، مما يشكل رسم خرائط التفعيل الخاص بصورتنا (IS-CAM)، الذي يتم تحقيقه من خلال خطوتين متتابعتين. بالإضافة إلى ذلك، يتم اقتراح GSC لبناء التناسق بين CAM العام وIS-CAM الخاص بنا، مما يحسن بشكل أكبر تمثيل الميزات ويعزز قدرة التصحيح الذاتي لاستكشاف النماذج. تم إجراء تجارب شاملة على معايير تقسيم PASCAL VOC 2012 وMS COCO 2014 وتظهر النتائج أن SIPE الخاص بنا يحقق أداءً جديدًا متقدمًا باستخدام تسميات بمستوى الصورة فقط. الشيفرة متاحة على https://github.com/chenqi1126/SIPE.