बड़े भाषा मॉडल रोलआउट से ऑफ़लाइन रिइन्फोर्समेंट लर्निंग द्वारा ज्ञानसम्पन्न एजेंट्स

रिइन्फोर्समेंट लर्निंग (RL) एजेंट्स को पर्यावरणीय इंटरैक्शन डेटा के माध्यम से जटिल कार्यों को पूरा करने के लिए प्रशिक्षित करता है, लेकिन इसकी क्षमता उपलब्ध डेटा के दायरे से भी सीमित होती है। एक ज्ञानसम्पन्न एजेंट प्राप्त करने के लिए, एक आशाजनक दृष्टिकोण बड़े भाषा मॉडलों (LLMs) से ज्ञान का लाभ उठाना है। पूर्व के अध्ययनों ने LLMs को RL के साथ संयोजित किया है, फिर भी इन दो घटकों का सहज एकीकरण उनके अर्थपूर्ण अंतर के कारण चुनौतीपूर्ण बना रहता है। इस पत्र में एक नवीन विधि, Knowledgeable Agents from Language Model Rollouts (KALM), प्रस्तुत की गई है, जो LLMs से काल्पनिक रोलआउट्स के रूप में ज्ञान निकालती है जिसे एजेंट ऑफ़लाइन रिइन्फोर्समेंट लर्निंग विधियों के माध्यम से आसानी से सीख सकता है। KALM की प्राथमिक चुनौती LLM ग्राउंडिंग में है, क्योंकि LLMs मौलिक रूप से पाठ्य डेटा तक सीमित होते हैं, जबकि पर्यावरणीय डेटा अक्सर वेक्टर के रूप में होते हैं जो LLMs के लिए नया होता है। इसे संबोधित करने के लिए, KALM LLM को पर्यावरणीय डेटा पर आधारित विभिन्न कार्य करने के लिए फाइन-ट्यून करता है, जिसमें कौशल के प्राकृतिक भाषा विवरण और उनके संबंधित रोलआउट डेटा के बीच द्विदिश अनुवाद शामिल है। यह ग्राउंडिंग प्रक्रिया LLM की पर्यावरणीय गतिशीलता की समझ को बढ़ाती है, जिससे यह विविध और अर्थपूर्ण काल्पनिक रोलआउट्स उत्पन्न कर पाता है जो नए कौशलों को प्रतिबिंबित करते हैं। CLEVR-Robot पर्यावरण में प्रारंभिक अनुभवजन्य मूल्यांकन द्वारा दिखाया गया है कि KALM एजेंट्स को कार्य लक्ष्यों के जटिल पुनर्व्याकरणों को पूरा करने और अप्रत्याशित अत्युत्तम व्यवहारों की आवश्यकता वाले नए कार्यों के लिए क्षमताओं का विस्तार करने में सक्षम बनाता है। KALM ने अनदेखे लक्ष्यों वाले कार्यों को पूरा करने में 46% सफलता दर प्राप्त की, जो आधारभूत विधियों द्वारा प्राप्त 26% सफलता दर से काफी अधिक है। इसके अतिरिक्त, KALM प्रभावी रूप से LLM को पर्यावरणीय गतिशीलता की समझ प्रदान करता है, जिससे अर्थपूर्ण काल्पनिक रोलआउट्स उत्पन्न होते हैं जो नए कौशल दर्शाते हैं और बड़े भाषा मॉडल और रिइन्फोर्समेंट लर्निंग के सहज एकीकरण को दर्शाते हैं।