बिना डेटा के वजन संपीड़न और शोर کم करना बड़े भाषा मॉडल के लिए

बड़े भाषा मॉडल (LLMs) आर्टिफिशियल इंटेलिजेंस में अनुसंधान परिदृश्य को नया रूप दे रहे हैं, विशेष रूप से जब मॉडल पैरामीटर्स महत्वपूर्ण रूप से बढ़ते हैं, जिससे विभिन्न क्षेत्रों में असाधारण क्षमताएँ खुलती हैं। इसके बावजूद, GPU मेमोरी और कम्प्यूटेशनल गति की सीमाओं के कारण मॉडल पैरामीटर्स की स्केलेबिलिटी में बाधाएं आती हैं। इन बाधाओं को दूर करने के लिए, प्रूनिंग और क्वांटाइजेशन जैसे विभिन्न वजन संपीड़न विधियाँ उभरी हैं। भाषा मॉडलों में वजन मैट्रिस के कम-रैंक स्वभाव को देखते हुए, मैट्रिक्स विघटन के माध्यम से वजन में कमी निश्चित रूप से महत्वपूर्ण क्षमता और संभावनाएँ रखती है। इस पेपर में, LLMs की आंतरिक संरचना पर आधारित, हम पैरामीटर मैट्रिस को संपीड़ित करने के लिए एक नवीन दृष्टिकोण प्रस्तुत करते हैं, जिसे Data-free Joint Rank-k Approximation कहा जाता है। विशेष रूप से, हमारी विधि किसी भी अतिरिक्त कॉर्पस की आवश्यकता के बिना, प्रूनिंग और क्वांटाइजेशन विधियों के साथ समकोणता को भी संरक्षित करते हुए कार्य करती है। हम बिना किसी कैलिब्रेशन डेटा के 80% पैरामीटर्स को प्रून करते हुए मूल प्रदर्शन का 93.43% बनाए रखने में सक्षम हैं। इसके अतिरिक्त, हम Rank-k Approximation के तहत LLMs के वजन मैट्रिस की मूलभूत विशेषताओं का अन्वेषण करते हैं और अपने हाइपोथेसिस को स्पष्ट करने के लिए व्यापक प्रयोग करते हैं।