ImagineBench: बड़े भाषा मॉडल रोलआउट्स के साथ सुदृढीकरण शिक्षण का मूल्यांकन

सुदृढीकरण शिक्षण (RL) में एक केंद्रीय चुनौती है कि यह कार्य-विशिष्ट नीतियाँ सीखने के लिए व्यापक वास्तविक-जगत इंटरैक्शन डेटा पर निर्भर करता है। हालांकि हाल के काम दिखाते हैं कि बड़े भाषा मॉडल (LLMs) इस सीमा को कम कर सकते हैं, वे काल्पनिक अनुभव (जिसे इमैजिनरी रोलआउट्स कहा जाता है) उत्पन्न करके नए कार्यों को सीखने में मदद करते हैं, इस उभरते क्षेत्र में प्रगति एक मानक बेंचमार्क की कमी के कारण बाधित होती है। इस अंतर को पाटने के लिए, हमने ImagineBench प्रस्तुत किया है, जो ऑफलाइन RL एल्गोरिदम का पहला व्यापक बेंचमार्क है जो वास्तविक रोलआउट्स और LLM-इमैजिनरी रोलआउट्स दोनों का उपयोग करता है। ImagineBench की मुख्य विशेषताओं में शामिल हैं: (1) पर्यावरण-संग्रहित और LLM-इमैजिनरी रोलआउट्स वाले डेटासेट; (2) गतिशीलता, रोबोटिक मैनिपुलेशन और नेविगेशन कार्यों को कवर करने वाले विविध डोमेन; और (3) प्राकृतिक भाषा कार्य निर्देश, जो भाषा-आधारित नीति सीखने को सरल बनाने के लिए विभिन्न जटिलता स्तरों के साथ। अत्याधुनिक ऑफलाइन RL एल्गोरिदम के व्यवस्थित मूल्यांकन के माध्यम से, हमने देखा कि मौजूदा ऑफलाइन RL एल्गोरिदम को सीधे लागू करने पर अनदेखे कार्यों में प्रदर्शन उपयुक्त नहीं होता, जहां कठिन कार्यों में सफलता दर केवल 35.44% रही, जबकि वास्तविक रोलआउट्स से प्रशिक्षण प्राप्त विधि के लिए यह दर 64.37% थी। यह परिणाम LLM-इमैजिनरी रोलआउट्स का बेहतर उपयोग करने के लिए एल्गोरिदमिक सुधारों की आवश्यकता को उजागर करता है। इसके अतिरिक्त, हमने भविष्य के अनुसंधान के लिए मुख्य अवसरों की पहचान की है: जैसे कि इमैजिनरी रोलआउट्स का बेहतर उपयोग, त्वरित ऑनलाइन अनुकूलन और निरंतर शिक्षण, और बहु-मोडल कार्यों में विस्तार। हमारा कोड सार्वजनिक रूप से https://github.com/LAMDA-RL/ImagineBench पर उपलब्ध है।