SPARK: न्यूरल नेटवर्क्स का स्केलेबल और प्रिसिजन-चेतन त्वरक कुशल एन्कोडिंग के माध्यम से

डीप न्यूरल नेटवर्क्स (DNNs) नेRemarkable सफलता प्रदर्शित की है; हालाँकि, उनके बढ़ते मॉडल आकार के कारण मॉडल के आकार और हार्डवेयर क्षमता के बीच का अंतर बढ़ता जा रहा है। इसे संबोधित करने के लिए, मॉडल संकुचन तकनीकों का प्रस्ताव किया गया है, लेकिन मौजूदा संकुचन विधियाँ मॉडल के भीतर महत्वपूर्ण पैरामीटर भिन्नताओं (सक्रियता और वजन) को प्रभावी ढंग से संभालने में संघर्ष करती हैं। इसके अलावा,Compression के लिए वर्तमान भिन्नता-चेतन एन्कोडिंग समाधान जटिल तर्क पेश करते हैं, जिनसे सीमित संकुचन लाभ और हार्डवेयर दक्षता होती है। इस संदर्भ में, हम SPARK प्रस्तुत करते हैं, जो एक नवीन एल्गोरिदम/आर्किटेक्चर सह-डिज़ाइन समाधान है जो स्थानीय पैरामीटर मान प्रसंस्करण के लिए परिवर्तनीय-लंबाई डेटा प्रतिनिधित्व का उपयोग करता है, जो कम हार्डवेयर ओवरहेड और उच्च प्रदर्शन लाभ प्रदान करता है। हमारा मुख्य अंतर्दृष्टि यह है कि क्वांटाइज़्ड मूल्यों का उच्च क्रम भाग अक्सर विरल होता है, जिससे हमें उचित एन्कोडिंग लंबाई निर्धारित करने के लिए एक पहचान बिट का उपयोग करने की अनुमति मिलती है, इस प्रकार अप्रयुक्त बिट-लंबाई पदचाप को समाप्त करती है। डेटा के विशेषताओं के आधार पर डेटा प्रतिनिधित्व में यह कमी एक अनुक्रमित संरचित डेटा एन्कोडिंग योजना की अनुमति देती है जो मौजूदा हार्डवेयर त्वरक जैसे प्रणालीसंचिका के साथ सहज रूप से एकीकृत होती है। हम SPARK-आधारित त्वरकों का मूल्यांकन कुछ मौजूदा एन्कोडिंग-आधारित त्वरक के खिलाफ करते हैं, और हमारे परिणाम महत्वपूर्ण सुधार दर्शाते हैं। SPARK-आधारित त्वरक 4.65× की गति में वृद्धि और 74.7% ऊर्जा में कमी प्राप्त करता है, जबकि उच्चतम मॉडल सटीकता बनाए रखता है।