SQUAT: राज्यपूर्ण क्वांटाइजेशन-ज्ञानीय प्रशिक्षण पुनरावर्ती स्पाइकिंग न्यूरल नेटवर्क में

वजन क्वांटाइजेशन का उपयोग संसाधन-सीमित हार्डवेयर पर उच्च-प्रदर्शन गहरे शिक्षण मॉडलों को तैनात करने के लिए किया जाता है, जो भंडारण और गणना के लिए निम्न-सटीकता वाले पूर्णांक के उपयोग को सक्षम बनाता है। स्पाइकिंग न्यूरल नेटवर्क (SNNs) दक्षता बढ़ाने के उद्देश्य को साझा करते हैं, लेकिन न्यूरल नेटवर्क अनुमान की शक्ति खपत को कम करने के लिए 'इवेंट-चालित' दृष्टिकोण अपनाते हैं। जबकि वजन क्वांटाइजेशन, क्वांटाइजेशन-ज्ञानीय प्रशिक्षण (QAT), और उनके SNNs पर अनुप्रयोग पर व्यापक शोध किया गया है, प्रशिक्षण के दौरान राज्य चरों की सटीकता में कमी को बड़े पैमाने पर नजरअंदाज किया गया है, जो अनुमान प्रदर्शन को कम कर सकती है। यह पेपर राज्यपूर्ण न्यूरॉनों के लिए दो QAT योजनाओं को प्रस्तुत करता है: (i) एक समान क्वांटाइजेशन रणनीति, जो वजन क्वांटाइजेशन के लिए एक स्थापित विधि है, और (ii) थ्रेसहोल्ड-केंद्रित क्वांटाइजेशन, जो आग लगाने के थ्रेशोल्ड के आसपास अत्यधिक अधिक क्वांटाइजेशन स्तरों को आवंटित करता है। हमारे परिणाम दिखाते हैं कि आग लगाने के थ्रेशोल्ड के आसपास क्वांटाइजेशन स्तरों की घनत्व बढ़ाना कई बेंचमार्क डेटा सेटों में सटीकता में सुधार करता है। हम वजन और राज्य क्वांटाइजेशन के प्रभावों का एक विमोचन विश्लेषण प्रस्तुत करते हैं, दोनों अपने-अपने और संयोजित तरीके से, और यह कैसे मॉडल को प्रभावित करता है। हमारे व्यापक अनुभवात्मक मूल्यांकन में पूर्ण सटीकता, 8-बिट, 4-बिट, और 2-बिट क्वांटाइज्ड SNNs शामिल हैं, QAT, राज्यपूर्ण QAT (SQUAT), और प्रशिक्षण के बाद के क्वांटाइजेशन विधियों का उपयोग करते हुए। निष्कर्ष बताते हैं कि QAT और SQUAT का संयोजन प्रदर्शन को सबसे अधिक बढ़ाता है, लेकिन यदि एक या दूसरे के चयन की आवश्यकता हो, तो QAT प्रदर्शन को बड़े पैमाने पर सुधारता है। ये प्रवृत्तियाँ सभी डेटा सेटों में स्थायी हैं। हमारी विधियाँ हमारी Python लाइब्रेरी snnTorch में उपलब्ध की गई हैं: https://github.com/jeshraghian/snntorch.