MarvelOVD: वस्तु मान्यता और विज़न-भाषा मॉडल का संयोजन करते हुए मजबूत खुले शब्दावली वस्तु पहचान के लिए

VLMs (विजन-भाषा मॉडल) द्वारा उत्पन्न नकली-लेबल्स से सीखना हाल की शोधों में खुले शब्दावली पहचान (OVD) में सहायता के लिए एक आशाजनक समाधान के रूप में दिखाया गया है। हालांकि, VLM और विज़न-डिटेक्शन कार्यों के बीच डोमेन अंतर के कारण, VLMs द्वारा उत्पादित नकली-लेबल्स शोरयुक्त हो सकते हैं, जबकि डिटेक्टर के प्रशिक्षण डिजाइन से पूर्वाग्रह और भी बढ़ जाता है। इस कार्य में, हम OVD संदर्भ में VLMs की पक्षपाती भविष्यवाणी के मूल कारण की खोज करते हैं। हमारे अवलोकन एक सरल लेकिन प्रभावी प्रक्रिया, जिसे MarvelOVD कहा गया है, की ओर ले जाते हैं, जो प्रशिक्षण लक्ष्यों को काफी बेहतर बनाता है और डिटेक्टर की क्षमता को विज़न-भाषा मॉडल के साथ मिलाकर ऑनलाइन तरीके से सीखने की प्रक्रिया को अनुकूलित करता है। हमारी मुख्य अंतर्दृष्टि यह है कि डिटेक्टर स्वयं एक मजबूत सहायक मार्गदर्शन के रूप में कार्य कर सकता है ताकि VLM की "पृष्ठभूमि" और छवि में प्रस्ताव के संदर्भ को समझने में असमर्थता को पूरा किया जा सके। इसके आधार पर, हम Online Mining के माध्यम से शोरयुक्त नकली-लेबल्स को बहुत शुद्ध करते हैं और Adaptive Reweighting प्रस्तावित करते हैं ताकि वे पूर्वाग्रही प्रशिक्षण बॉक्सों को प्रभावी ढंग से दबा सकें जो लक्ष्य वस्तु के साथ अच्छी तरह से संरेखित नहीं हैं। इसके अतिरिक्त, हम एक नजरअंदाज की गई "बेस-नोवेल-कॉनफ्लिक्ट" समस्या की पहचान करते हैं और इसे रोकने के लिए स्तरित लेबल असाइनमेंट प्रस्तुत करते हैं। COCO और LVIS डेटासेट्स पर व्यापक प्रयोगों से पता चलता है कि हमारी विधि अन्य उत्कृष्ट तरीकों की तुलना में महत्वपूर्ण सुधार प्रदान करती है। कोड https://github.com/wkfdb/MarvelOVD पर उपलब्ध हैं।