InfoARD: आक्रमण-शक्ति अनुकूलन और आपसी-जानकारी अधिकतमकरण के साथ विरोधी मजबूती डिस्टिलेशन को बढ़ाना

विरोधी डिस्टिलेशन (AD) का लक्ष्य गहरे न्यूरल नेटवर्क की विरोधी हमलों के प्रति अंतर्निहित संवेदनशीलता को कम करना है, इस प्रकार शिक्षक-छात्र इंटरैक्शन के माध्यम से कॉम्पैक्ट मॉडल के लिए मजबूत सुरक्षा प्रदान करना। प्रगति के बावजूद, मौजूदा AD अध्ययन अभी भी निश्चित आक्रमण शक्ति और ध्यान क्षेत्र स्थानांतरण की सीमाओं के कारण अपर्याप्त मजबूती का सामना करते हैं। इन चुनौतियों का समाधान करते हुए, हम एक शक्ति-समायोज्य जानकारी- अधिकतमकरण विरोधी मजबूती डिस्टिलेशन पैरेडाइम, जिसे "InfoARD" कहा जाता है, का प्रस्ताव करते हैं, जो आक्रमण-शक्ति अनुकूलन (ASA) और आपसी-जानकारी अधिकतमकरण (MIM) को रणनीतिक रूप से शामिल करके विरोधी हमलों और गड़बड़ियों के खिलाफ विरोधी मजबूती को बढ़ाता है। पिछले विरोधी प्रशिक्षण (AT) विधियों के विपरीत जो निश्चित आक्रमण शक्ति का उपयोग करते हैं, ASA तंत्र को व्यक्तिगत उदाहरणों की विशेषताओं के आधार पर आक्रमण शक्ति को गतिशील रूप से समायोजित करके मुलायम और सामान्यीकृत वर्गीकरण सीमाओं को पकड़ने के लिए डिज़ाइन किया गया है। आपसी जानकारी के प्रतिबंधों से लाभ उठाते हुए, हमारी MIM रणनीति सुनिश्चित करती है कि छात्र मॉडल विभिन्न स्तरों की विशेषता प्रस्तुतियों और ध्यान पैटर्न से प्रभावी ढंग से सीखता है, जिससे छात्र मॉडल की शिक्षक मॉडल के निर्णय-निर्माण प्रक्रियाओं की समझ गहरी होती है। इसके अलावा, कई आयामों में ज्ञान कैप्चर करने के लिए एक व्यापक बहु-ग्रैन्युलैरिटी डिस्टिलेशन किया जाता है, जिससे शिक्षक मॉडल से छात्र मॉडल में ज्ञान का अधिक प्रभावी हस्तांतरण सक्षम होता है। ध्यान दें कि हमारा InfoARD मौजूदा AD ढांचों में Seamlessly एकीकृत किया जा सकता है, जो गहरी शिक्षा मॉडल की विरोधी मजबूती को और बढ़ाता है। विभिन्न चुनौतीपूर्ण डेटासेट पर विशाल प्रयोग लगातार हमारे InfoARD की प्रभावशीलता और मजबूती को प्रदर्शित करते हैं, जो पिछले राज्य-के-कल की विधियों को पार करता है।