एलएलएम के लिए सुदृढ़ीकरण सीखने में दक्षता और अन्वेषण को बढ़ाना

विश्लेषणात्मक बड़े भाषा मॉडल (एलएलएम) जटिल कार्यों में उत्कृष्ट होते हैं, जिसने एलएलएम के लिए सुदृढ़ीकरण सीखने (आरएल) पर महत्वपूर्ण ध्यान आकर्षित किया है। हालाँकि, मौजूदा तरीके आरएल प्रक्रिया के दौरान सभी प्रश्नों को समान संख्या में रोलआउट आवंटित करते हैं, जो कि अनुचित है। यह अक्षमता इस तथ्य से उत्पन्न होती है कि सरल प्रश्नों पर प्रशिक्षण सीमित लाभ देता है, जबकि चुनौतीपूर्ण प्रश्नों के लिए सही उत्तरों का नमूना लेने के लिए अधिक रोलआउट की आवश्यकता होती है। इसके अलावा, जबकि आरएल प्रतिक्रिया सटीकता में सुधार करता है, यह मॉडल की अन्वेषण क्षमताओं को सीमित करता है, जिससे संभावित प्रदर्शन क्षमता बेस मॉडल के नीचे हो सकता है। इन समस्याओं को हल करने के लिए, हम समस्याओं की कठिनाई के आधार पर रोलआउट बजट को गतिशील रूप से आवंटित करने के लिए एक तंत्र का प्रस्ताव करते हैं, जिससे अधिक प्रभावी आरएल प्रशिक्षण की अनुमति मिलती है। इसके अतिरिक्त, हम एंट्रोपी को स्थिर स्तर पर बनाए रखने के लिए एक अनुकूली गतिशील तापमान समायोजन रणनीति पेश करते हैं, जिससे पर्याप्त अन्वेषण को प्रोत्साहित किया जा सके। इससे एलएलएम को प्रतिक्रिया सटीकता में सुधार करने में मदद मिलती है जबकि संभावित सही रास्तों का पता लगाने के लिए उनकी अन्वेषण क्षमता को बनाए रखते हुए। कोड और डेटा उपलब्ध है: https://github.com/LiaoMengqi/E3-RL4LLMs