न्यूरल नेटवर्क्स के सक्रियण संकुचन के लिए आयाम कमी और मिश्रित-सटीकता क्वांटाइजेशन का संयुक्त अनुकूलन

हाल ही में, गहरे अवरुद्ध तंत्रिका नेटवर्क (सीएनएन) ने विभिन्न अनुप्रयोगों में आकर्षक परिणाम हासिल किए हैं। हालांकि, सक्रियण की तीव्र मेमोरी पहुँच ऊर्जा खपत में काफी वृद्धि करती है, जिससे संसाधन-सीमित एज उपकरणों पर सीएनएन को तैनात करने में एक बड़ी चुनौती उत्पन्न होती है। मौजूदा शोध अलग-अलग कंप्यूटेशनल जटिलता को कम करने के लिए आयाम कमी (डीआर) और मिश्रित-सटीकता (एमपी) क्वांटाइजेशन का उपयोग करता है, बिना उनकी इंटरएक्शन पर ध्यान दिए। विभिन्न संकुचन रणनीतियों का ऐसा साधारण संयोजन उप-अनुकूल प्रदर्शन के साथ समाप्त होता है। एक व्यापक संकुचन ढाँचे के विकास के लिए, हम डीआर और एमपी क्वांटाइजेशन को संयुक्त रूप से विचार करने के द्वारा एक अनुकूलन प्रणाली का प्रस्ताव करते हैं, जिसे स्वतंत्र समूह-वार शिक्षनीय एमपी योजनाओं द्वारा सक्षम किया गया है। समूह विभाजन एक अच्छी तरह से डिज़ाइन किए गए स्वचालित समूह विभाजन तंत्र द्वारा मार्गदर्शित होता है जो चैनलों के बीच संकुचन प्राथमिकताओं को भेदने में सक्षम है, और यह मॉडल की सटीकता और संकुचनीयता के बीच संतुलन को संभाल सकता है। इसके अलावा, कम बिट-चौड़ाई क्वांटाइजेशन के तहत मॉडल की सटीकता को बनाए रखने के लिए, हम सतत बिट-चौड़ाई कमी को सक्षम करने के लिए एक गतिशील बिट-चौड़ाई खोज तकनीक का प्रस्ताव करते हैं। हमारे प्रयोगात्मक परिणाम दिखाते हैं कि प्रस्तावित प्रणाली Resnet18/MobileNetV2 पर औसत 2.16/2.61 बिट्स प्रति मान के साथ 69.03%/70.73% तक पहुँचती है, जबकि केवल अनकंप्रेस्ड पूर्ण-सटीकता मॉडलों के लगभग 1% सटीकता हानि को पेश करती है। व्यक्तिगत सक्रियण संकुचन योजनाओं की तुलना में, प्रस्तावित संयुक्त अनुकूलन प्रणाली क्रमशः Resnet18/MobileNetV2 पर डीआर की 55%/9% (−2.62/−0.27 बिट्स) और एमपी क्वांटाइजेशन की 55%/63% (−2.60/−4.52 बिट्स) मेमोरी पहुँच को कम करती है, जबकि समान या यहां तक कि उच्चतर सटीकता बनाए रखती है।