स्थानीय लीनियरीकरण के माध्यम से प्रतिकूल मजबूती

प्रतिकूल प्रशिक्षण गहरे न्यूरल नेटवर्क को प्रशिक्षण देने की एक प्रभावी पद्धति है जो प्रतिकूल, मान-सीमित व्यापकता के खिलाफ मजबूत होती है। हालाँकि, प्रतिकूल प्रशिक्षण की गणना की लागत मॉडल के आकार और इनपुट आयामों की संख्या बढ़ने के साथ अत्यधिक बढ़ जाती है। इसके अलावा, कम महंगे और इसलिए कमजोर प्रतिकूलों के खिलाफ प्रशिक्षण करने से ऐसे मॉडल बनते हैं जो कमजोर हमलों के खिलाफ मजबूत होते हैं लेकिन मजबूत हमलों के तहत टूट जाते हैं। इसे अक्सर ग्रेडिएंट छिपाने की घटना के रूप में दर्शाया जाता है; ऐसे मॉडल के पास प्रशिक्षण उदाहरणों के निकट एक अत्यधिक गैर-रेखीय हानि सतह होती है, जिससे ग्रेडिएंट-आधारित हमलों को सफल होना कठिन हो जाता है यद्यपि प्रतिकूल उदाहरण अभी भी मौजूद होते हैं। इस काम में, हम एक नवीन नियमितक प्रस्तुत करते हैं जो प्रशिक्षण डेटा के निकट हानि के व्यवहार को रेखीय बनने के लिए प्रोत्साहित करता है, इस प्रकार ग्रेडिएंट छिपाने को दंडित करते हुए मजबूती को बढ़ावा देता है। हम CIFAR-10 और ImageNet पर व्यापक प्रयोगों के माध्यम से दिखाते हैं कि हमारे नियमितक के साथ प्रशिक्षित मॉडल ग्रेडिएंट छिपाने से बचते हैं और प्रतिकूल प्रशिक्षण की तुलना में काफी तेजी से प्रशिक्षित किए जा सकते हैं। इस नियमितक का उपयोग करके, हम वर्तमान उच्चतम मानक को पार करते हैं और अनलक्षित, मजबूत, सफेद-पट्टी हमले के तहत 4/255 के त्रिज्या के l-infinity प्रतिकूल व्यापकताओं के लिए ImageNet के लिए 47% प्रतिकूल सटीकता प्राप्त करते हैं। इसके अतिरिक्त, हम CIFAR-10 के लिए 8/255 पर उच्चतम मानक परिणामों को भी मेल करते हैं।