एक एल्गोरिदम-हार्डवेयर सह-अनुकूलित ढांचा N:M स्पार्स ट्रांसफार्मर्स को तेज करने के लिए

ट्रांसफार्मर गहरे अध्ययन में एक अनिवार्य तत्व रहा है। हालांकि, वास्तविक जीवन के अनुप्रयोगों के लिए, मॉडलों के विशाल पैमानों और संचालन के कारण प्रभावी ट्रांसफार्मर्स को लागू करना बहुत चुनौतीपूर्ण है। इस भार को कम करने के लिए, स्पार्सिटी का उपयोग करना ट्रांसफार्मर्स को तेज करने का एक प्रभावी दृष्टिकोण है। नई उभरती हुई एंपेयर ग्राफिक्स प्रोसेसिंग यूनिट्स (जीपीयू) मॉडल की त्वरितता प्राप्त करने के लिए 2: 4 स्पार्सिटी पैटर्न का लाभ उठाती हैं, जबकि यह मॉडल तैनात करते समय विभिन्न एल्गोरिदम और हार्डवेयर बाधाओं को पूरा करना मुश्किल होता है। इसके विपरीत, हम सामान्य N: M स्पार्सिटी पैटर्न का उपयोग करके ट्रांसफार्मर्स को लचीले और प्रभावी तरीके से तेज करने के लिए एक एल्गोरिदम-हार्डवेयर सह-अनुकूलित ढांचा प्रस्तावित करते हैं। पहले, एक एल्गोरिदम दृष्टिकोण से, हम विरासत में लिए गए गतिशील प्रूनिंग (IDP) के साथ एक स्पार्सिटी विरासत तंत्र का प्रस्ताव करते हैं ताकि N: M स्पार्स उम्मीदवार ट्रांसफार्मर्स को तेजी से प्राप्त किया जा सके। तैनाती के लिए भंडारण आवश्यकताओं को महत्वपूर्ण रूप से कम करने के लिए एक मॉडल संकुचन योजना भी प्रस्तावित की गई है। दूसरे, एक हार्डवेयर दृष्टिकोण से, हम N: M स्पार्स ट्रांसफार्मर्स को तैनात करते समय महत्वपूर्ण गति लाभ प्राप्त करने के लिए एक लचीला और प्रभावी हार्डवेयर आर्किटेक्चर, जिसे STA कहा जाता है, पेश करते हैं। STA न केवल उच्च गणनात्मक दक्षता के साथ स्पार्स-घने और घने-घने मैट्रिक्स गुणा को एकीकृत करने वाले एक कंप्यूटिंग इंजन की विशेषताएँ रखता है, बल्कि यह मध्यवर्ती ऑफ-चिप डेटा संचार से देरी को समाप्त करने के लिए एक स्केलेबल सॉफ्टमैक्स मॉड्यूल भी प्रदान करता है। प्रयोगात्मक परिणाम दिखाते हैं कि अन्य तरीकों की तुलना में, IDP का उपयोग करके उत्पन्न N: M स्पार्स ट्रांसफार्मर्स उच्च प्रशिक्षण दक्षता के साथ औसतन 6.7% का सुधार प्राप्त करते हैं। इसके अतिरिक्त, STA Intel i9-9900X और NVIDIA RTX 2080 Ti की तुलना में क्रमशः 14.47 और 11.33 की गति में वृद्धि प्राप्त कर सकता है, और ट्रांसफार्मर्स के लिए स्टेट-ऑफ-द-आर्ट फील्ड-प्रोग्रामेबल गेट एरे (FPGA) आधारित त्वरणकर्ताओं की तुलना में 2.00 \ 19.47 गुना तेज व्याख्या कर सकता है।