इमेजिनेशन-लिमिटेड क्यू-लर्निंग ऑफलाइन रिइन्फोर्समेंट लर्निंग के लिए

ऑफलाइन रिइन्फोर्समेंट लर्निंग पूरी तरह से ऐतिहासिक डेटा से बेहतर नीतियाँ निकालने का प्रयास करती है, लेकिन अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्रियाओं के लिए अत्यधिक आशावादी मूल्य अनुमान के साथ संघर्ष करती है। इस समस्या को आमतौर पर नीति प्रतिबंध या सतर्क मूल्य नियमितकरण विधियों के माध्यम से कम किया जाता है। हालांकि, ये दृष्टिकोण अत्यधिक प्रतिबंध या पक्षपाती मूल्य अनुमान लागू कर सकते हैं, जिससे प्रदर्शन में सुधार सीमित हो सकता है। शोषण और प्रतिबंध के बीच संतुलन बनाने के लिए, हम इमेजिनेशन-लिमिटेड क्यू-लर्निंग (ILQ) विधि प्रस्तावित करते हैं, जिसका उद्देश्य OOD क्रियाओं के लिए उचित सीमा के भीतर आशावाद बनाए रखना है। विशेष रूप से, हम डायनेमिक्स मॉडल का उपयोग OOD क्रिया-मूल्यों की कल्पना करने के लिए करते हैं, और फिर कल्पित मूल्यों को अधिकतम व्यवहार मूल्यों के साथ क्लिप करते हैं। ऐसा डिज़ाइन OOD क्रियाओं के यथोचित मूल्यांकन को अधिकतम सीमा तक बनाए रखता है, जबकि इसके अत्यधिक आशावाद से बचता है। सिद्धांत रूप में, हम टेबुलर मार्कोव निर्णय प्रक्रियाओं के तहत प्रस्तावित ILQ के संकेंद्रण को सिद्ध करते हैं। विशेष रूप से, हम दिखाते हैं कि OOD राज्य-क्रियाओं के अनुमानित मूल्यों और इष्टतम मूल्यों के बीच त्रुटि सीमा इन-डिस्ट्रीब्यूशन के समान होती है, जिससे पता चलता है कि मूल्य अनुमानों में पक्षपात प्रभावी ढंग से कम हुआ है। व्यावहारिक रूप से, हमारी विधि D4RL बेंचमार्क में विभिन्न कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त करती है।