स्मृति सीमित गहरा संचालक नेटवर्क

इस काम में, हम कन्वोल्यूशन न्यूरल नेटवर्क (CNNs) के प्रशिक्षण के दौरान विरलता उत्प्रेरक नियमितकारकों के उपयोग की जांच करते हैं। ये नियमितकारक प्रोत्साहित करते हैं कि कन्वोल्यूशन और पूरी तरह से जुड़े परतों में कम कनेक्शन गैर-शून्य मानों को लें और इसके परिणामस्वरूप गहरे नेटवर्क में छिपे हुए इकाइयों के बीच विरल कनेक्टिविटी का निर्माण होता है। इससे सीखने वाले CNNs को तैनात करने में शामिल मेमोरी और रनटाइम लागत को कम किया जा सकता है। हम दिखाते हैं कि इस प्रकार के नियमितकरण के साथ प्रशिक्षण अभी भी स्टोकास्टिक ग्रेडिएंट डिसेंट का उपयोग करके किया जा सकता है, जिससे यह मौजूदा कोडबेस में आसानी से उपयोग किया जा सकता है। MNIST, CIFAR, और ImageNet डेटासेट्स पर हमारे दृष्टिकोण का प्रयोगात्मक मूल्यांकन दिखाता है कि हमारे नियमितकारक मेमोरी आवश्यकताओं में नाटकीय कमी ला सकते हैं। उदाहरण के लिए, जब इसे AlexNet पर लागू किया जाता है, तो हमारी विधि मेमोरी खपत को चार गुना कम कर सकती है जबकि सटीकता में न्यूनतम हानि होती है।