الإيعاز هو كل ما تحتاجه: إيعاز نماذج الأساس للتقسيم الدلالي الذاتي الإشراف واسع النطاق

تتناول هذه الورقة البحثية المهمة الهامة والتحديّة للتقسيم الدلالي غير الخاضع للإشراف على نطاق واسع (LUSS). نقدم المحاولة الأولى لإطلاق قوة نماذج الأساس (FMs) لمهمة التنبؤ الكثيفة والتحديّة LUSS، وهدفنا الرئيسي هو تقديم حلول بسيطة وفعّالة وذات كفاءة لـ LUSS، وهي إيعاز نماذج الأساس لـ LUSS (PLUSS). أولاً، اقترحنا إطار عمل متتالي PLUSS_ من خلال دمج فعال بين CLIPS وGrounding DINO وSAM بطريقة عدم إطلاق النار (zero-shot). هذه البنية المتتابعة تولّد تلقائيًا إيعازات دلالية ومكانية لـ SAM، مما يؤسس خط أساس قوي يتفوّق بشكل كبير على الطرق السابقة في أحدث الإنجازات. بناءً على هذا الأساس، نقترح PLUSS_ الذي يعالج عنق الزجاجة الحرج لجودة الإيعاز من خلال وحدتي ضبط جديدتين: معدِّل دلالي يعزّز التمييز الدقيق بين الفئات عبر ضبط الإيعاز البصري، ومعدِّل صندوق يحسّن تحديد موقع الكائن من خلال دمج المميزات متعددة الوسائط. يتم تحسين كلا المعدِّلين بالاعتماد على المعرفة الموجودة داخل نماذج الأساس نفسها، مستمدين إشارات ذاتية الإشراف من اتساق النموذج الداخلي. هذا النهج لا يتطلب أي إشراف خارجي أو تحديثات لبارامترات نماذج الأساس. أظهرت التجارب الموسعة على معايير ImageNet-S أن PLUSS_ يحقق تحسّنات ملحوظة في الأداء، متجاوزًا أفضل طريقة سابقة بمقدار 39.6%، 27.3%، و22.6% في مقياس mIoU لـ 50، 300، و919 فئة على التوالي. يظهر نهجنا تمثيلًا قويًا للفئة والشكل عبر أحجام الكائنات المختلفة ومقاييس مجموعات البيانات، مع الحفاظ على قدرات تعميم قوية للمهام ذات المفردات المفتوحة. يوفر الإطار المقترح خط أساس متين لتكييف نماذج الأساس مع مهام الرؤية النزولية. الشيفرة متاحة على https://github.com/Miss-Jo/PLUSSbeta.