IntactKV: पिवट टोकन को बिना बदले रखकर बड़े भाषा मॉडल क्वांटाइजेशन में सुधार

बड़े भाषा मॉडल (LLMs) प्राकृतिक भाषा प्रसंस्करण में उत्कृष्ट हैं लेकिन गणना की तीव्र मांग करते हैं। इसे कम करने के लिए, विभिन्न क्वांटाइजेशन विधियों की जांच की गई है, परंतु वे LLM के प्रदर्शन से समझौता करती हैं। इस पेपर में LLMs में पहले से अनदेखे आउट्लायर के एक प्रकार का खुलासा किया गया है। ऐसे आउट्लायर इनपुट के प्रारंभिक टोकनों पर अधिकांश ध्यान स्कोर आवंटित करते हैं, जिन्हें पिवट टोकन कहा जाता है, जो क्वांटाइज्ड LLM के प्रदर्शन के लिए महत्वपूर्ण है। इसे ध्यान में रखते हुए, हम IntactKV प्रस्तावित करते हैं जो पिवट टोकनों का KV कैश पूर्ण-सटीक मॉडल से बिना हानि के उत्पन्न करता है। यह दृष्टिकोण सरल है और मौजूदा क्वांटाइजेशन समाधानों के साथ आसानी से जोड़ा जा सकता है। इसके अलावा, IntactKV को अतिरिक्त LLM पैरामीटर के रूप में कैलिब्रेट किया जा सकता है ताकि क्वांटाइज्ड LLMs को और बढ़ाया जा सके। गणितीय विश्लेषण भी प्रमाणित करता है कि IntactKV प्रभावी रूप से क्वांटाइजेशन त्रुटि की ऊपरी सीमा को कम करता है। अनुभवजन्य परिणाम दिखाते हैं कि IntactKV लगातार सुधार लाता है और विभिन्न डाउनस्ट्रीम कार्यों पर हानिरहित भार-केवल INT4 क्वांटाइजेशन प्राप्त करता है, जिससे LLM क्वांटाइजेशन के लिए नया स्टेट-ऑफ़-द-आर्ट बनता है।