जनरेटिव व्यवहार क्लस्टरिंग और सुदृढक संतुलन के माध्यम से कार्य विशेषीकरण: LLMs से हल्के विशेषज्ञ बनाना

विशाल भाषा मॉडल (LLMs) अब नियमित रूप से सैकड़ों बिलियन पैरामीटर रखते हैं, जिससे इन्हें विलंबता- या संसाधन-सीमित सेटिंग्स में चलाना prohibitively महंगा हो जाता है। ज्ञान संतुलन ऐसे मॉडल को संकुचित करने का एक सिद्ध तरीका प्रदान करता है, फिर भी प्रचलित दृष्टिकोण एक सामान्य उद्देश्य छात्र को प्रशिक्षित करते हैं और इसलिए शिक्षक में निहित समृद्ध, कार्य-विशिष्ट व्यवहारों का लाभ उठाने में विफल रहते हैं। हम एक तीन-चरणीय ढांचे का प्रस्ताव करते हैं जो (i) शिक्षक की प्रतिक्रियाओं को क्लस्टर करके एकसमान व्यवहार मोडों को उजागर करता है, (ii) टोकन-स्तर की अनुकरण द्वारा प्रत्येक क्लस्टर पर एक हल्का छात्र प्रशिक्षित करता है, और (iii) कार्य-संरेखित पुरस्कारों द्वारा मार्गदर्शित आत्म-संशोधन लूप के साथ प्रत्येक छात्र को सुदृढ़ करता है। GPT-4 को शिक्षक और Flan-T5-Small या LLaMA2-7B को आधार छात्रों के रूप में उपयोग करते हुए, हमारी विधि कार्य-विशिष्ट विशेषज्ञ उत्पन्न करती है जो एक संतुलित सामान्यतावादी के बराबर या उससे बेहतर है जबकि अनुकरण लागत को एक बड़े पैमाने पर घटाती है। इसलिए, यह ढांचा बड़े मॉडलों की विविधता और विशेषीकृत, तैनाती योग्य प्रणालियों की व्यावहारिक मांगों के बीच का अंतर भरता है।