पर्यावरण जांच इंटरएक्शन नीतियाँ

पुनर्बलन शिक्षण (RL) में एक प्रमुख चुनौती पर्यावरण सामान्यीकरण है: एक नीति जो एक वातावरण में एक कार्य को हल करने के लिए प्रशिक्षित होती है, अक्सर थोड़ा भिन्न परीक्षण वातावरण में उसी कार्य को हल करने में असफल हो जाती है। इंटर-पर्यावरण स्थानांतरण को सुधारने का एक सामान्य दृष्टिकोण उन नीतियों को सीखना है जो परीक्षण वातावरण के वितरण के प्रति अपरिवर्तनीय हैं। हालाँकि, हम तर्क करते हैं कि अपरिवर्तनीय होने के बजाय, नीति को एक वातावरण के विशिष्ट बारीकियों की पहचान करनी चाहिए और बेहतर प्रदर्शन प्राप्त करने के लिए उनका दोहन करना चाहिए। इस कार्य में, हम 'पर्यावरण-जांच' इंटरएक्शन (EPI) नीति का प्रस्ताव करते हैं, जो एक नई वातावरण की जांच करती है ताकि उस वातावरण के व्यवहार की अंतर्निहित समझ निकाली जा सके। एक बार जब यह वातावरण-विशिष्ट जानकारी प्राप्त हो जाती है, तो इसका उपयोग कार्य-विशिष्ट नीति के लिए एक अतिरिक्त इनपुट के रूप में किया जाता है, जो अब कार्य को हल करने के लिए वातावरण-शर्तित क्रियाएँ कर सकती है। इन EPI-नीतियों को सीखने के लिए, हम संक्रमण की पूर्वानुमानिता पर आधारित पुरस्कार फ़ंक्शन प्रस्तुत करते हैं। विशेष रूप से, यदि EPI-नीति द्वारा उत्पन्न ट्रैजेक्टरी का उपयोग संक्रमणों को बेहतर पूर्वानुमान करने के लिए किया जा सकता है, तो एक उच्च पुरस्कार दिया जाता है। हम प्रयोगात्मक रूप से दिखाते हैं कि EPI-शर्तित कार्य-विशिष्ट नीतियाँ नए परीक्षण वातावरण पर सामान्यत: उपयोग की जाने वाली नीति सामान्यीकरण विधियों की तुलना में महत्वपूर्ण रूप से बेहतर प्रदर्शन करती हैं।