FPGA पर स्थैतिक और गतिशील क्षीणन के माध्यम से ViT अनुमान को तेज़ करना

विज़न ट्रांसफॉर्मर (ViTs) ने विभिन्न कंप्यूटर विज़न कार्यों पर उच्चतम सटीकता प्राप्त की है। हालांकि, उनकी उच्च गणनात्मक जटिलता उन्हें कई वास्तविक दुनिया के अनुप्रयोगों में लागू करने से रोकती है। वजन और टोकन क्षीणन जटिलता को कम करने के लिए दो प्रसिद्ध विधियाँ हैं: वजन क्षीणन मॉडल के आकार और संबंधित गणनात्मक मांगों को कम करता है, जबकि टोकन क्षीणन इनपुट के आधार पर गणना को और गतिशील रूप से कम करता है। इन दो तकनीकों को संयोजित करने से गणना की जटिलता और मॉडल के आकार को महत्वपूर्ण रूप से कम करना चाहिए; हालांकि, उन्हें सरलता से एकीकृत करने पर अनियमित गणना पैटर्न उत्पन्न होते हैं, जिससे सटीकता में महत्वपूर्ण गिरावट और हार्डवेयर त्वरक में कठिनाइयाँ होती हैं। उपरोक्त चुनौतियों का समाधान करते हुए, हम FPGA पर ViT को तेज़ करने के लिए एक व्यापक एल्गोरिदम-हार्डवेयर सह-डिज़ाइन का प्रस्ताव करते हैं - जो स्थैतिक वजन क्षीणन और गतिशील टोकन क्षीणन को एक साथ मिलाता है। एल्गोरिदम डिज़ाइन के लिए, हम मॉडल पैरामीटर के लिए एक हार्डवेयर-जागरूक संरचित ब्लॉक-क्षीणन विधि और महत्वहीन टोकन वेक्टर को हटाने के लिए गतिशील टोकन क्षीणन विधि को व्यवस्थित रूप से संयोजित करते हैं। इसके अलावा, हम मॉडल की सटीकता को पुनर्प्राप्त करने के लिए एक नवीनतम प्रशिक्षण एल्गोरिदम डिज़ाइन करते हैं। हार्डवेयर डिज़ाइन के लिए, हम क्षीणित मॉडल को निष्पादित करने के लिए एक नवीनतम हार्डवेयर एक्सीलरेटर विकसित करते हैं। प्रस्तावित हार्डवेयर डिज़ाइन अनियमित गणना पैटर्न का प्रभावी ढंग से निपटने के लिए लोड संतुलन रणनीति के साथ बहु-स्तरीय समांतरता का उपयोग करता है जो दो क्षीणन दृष्टिकोणों द्वारा उत्पन्न होती है। इसके अलावा, हम ऑन-दी-फ्लाई टोकन क्षीणन को प्रभावी ढंग से निष्पादित करने के लिए एक कुशल हार्डवेयर तंत्र विकसित करते हैं।