SLADE: बड़े विजन-भाषा मॉडलों में दोहरी शोषणों के खिलाफ सुरक्षा

बड़े विजन-भाषा मॉडल (LVLMs) बहु-मोडल कार्यों में परिवर्तनकारी उपकरणों के रूप में उभरे हैं, जो पूर्व-प्रशिक्षित विजन एन्कोडर्स को अदृश्य और पाठ्य माध्यमों को संरेखित करने के लिए सहजता से एकीकृत करते हैं। पिछले कार्यों ने LVLMs की दोहरी शोषणों (ग्रेडिएंट-आधारित और ऑप्टिमाइजेशन-आधारित जेलब्रेक हमले) के प्रति संवेदनशीलता को उजागर किया है, जो इमेज मोडालिटी द्वारा पेश किए गए विस्तारित हमले की सतह का लाभ उठाते हैं। स्थिरता बढ़ाने में प्रगति के बावजूद, मौजूदा विधियाँ दोहरी शोषणों के खिलाफ रक्षा की उनकी क्षमता में कमी दिखाती हैं जबकि तीव्र प्रतिकूल प्रदूषण के अंतर्गत सूक्ष्म-स्तरीय अर्थ विवरण और समग्र अर्थ संगति को बनाए रखते हैं। इस अंतर को पाटने के लिए, हम दोहरी शोषणों के खिलाफ सुरक्षा (SLADE) पेश करते हैं, जो CLIP-आधारित विजन एन्कोडर्स की सहनशीलता को बढ़ाने की एक नई अंडर-सुपरवाइज्ड प्रतिकूल फाइन-ट्यूनिंग योजना है। SLADE की दोहरी-स्तरीय कंट्रास्टिव लर्निंग विधि सूक्ष्म और समग्र के बीच संतुलन बनाती है, बिना उच्च-स्तरीय अर्थ संगति के नजर से खोए बिना सूक्ष्म-स्तरीय छवि विवरण को कैद करती है। व्यापक प्रयोगशालाएँ यह दर्शाती हैं कि SLADE से सुसज्जित LVLMs दोहरी शोषणों के खिलाफ स्थिरता के लिए एक नया बेंचमार्क स्थापित करते हैं जबकि विकृत छवियों के सूक्ष्म-स्तरीय अर्थ विवरण को बनाए रखते हैं। ध्यान देने योग्य बात यह है कि SLADE इन परिणामों को LVLMs की प्रमुख कार्यक्षमताओं, जैसे कि निर्देश पालन, को समझौता किए बिना प्राप्त करता है, या पारंपरिक कंट्रास्टिव लर्निंग विधियों से जुड़ी सामान्य रूप से आवश्यक गणनात्मक अधिभार (जैसे, बड़े बैच आकार, गति एन्कोडर्स) की आवश्यकता नहीं होती।