सतत क्रिया स्थानों में सुरक्षित अन्वेषण

हम ऐसे भौतिक प्रणाली पर सशक्तिकरण सीखने (RL) एजेंट को तैनात करने की समस्या का समाधान करते हैं जैसे कि डेटा सेंटर कूलिंग यूनिट या रोबोट, जहाँ महत्वपूर्ण प्रतिबंधों का कभी भी उल्लंघन नहीं होना चाहिए। हम प्रदर्शित करते हैं कि इन प्रणालियों के सामान्यतः चिकनी गतिशीलता का उपयोग कैसे किया जा सकता है और RL एल्गोरिदम को सीखने के दौरान प्रतिबंधों का उल्लंघन न करने में सक्षम बनाते हैं। हमारी तकनीक यह है कि नीति में सीधे एक सुरक्षा परत जोड़ी जाए जो प्रत्येक स्थिति के लिए क्रिया सुधार रूपरेखा को विश्लेषणात्मक रूप से हल करती है। एक अद्भुत बंद-फॉर्म समाधान प्राप्त करना एक रैखिक मॉडल के कारण सम्भव हुआ है, जिसे पिछले पथों पर सीखा गया है जिसमें मनमाने क्रियाएँ सम्मिलित हैं। इसका उद्देश्य वास्तविक दुनिया की परिस्थितियों की नकल करना है जहाँ डेटा लॉग एक व्यवहार नीति के साथ उत्पन्न हुए थे जिसे गणितीय रूप से वर्णित करना असंभव है; ऐसे मामलों में ज्ञात सुरक्षा-समझदार ऑफ-नीति विधियाँ अनुपयुक्त होती हैं। हम नए प्रतिनिधि भौतिक-आधारित वातावरण पर अपने दृष्टिकोण की प्रभावशीलता प्रदर्शित करते हैं, और जहाँ पुरस्कार आकारण विफल होता है वहाँ शून्य प्रतिबंध उल्लंघनों को बनाए रखकर विजय प्राप्त करते हैं।