एक QoS-जानकारी वितरित गहरा सुदृढीकरण शिक्षण तकनीक फ़ॉग संगणन वातावरण में सेवा ऑफलोडिंग के लिए

फ़ॉग और एज संगणन क्लाउड सेवाओं को अंत उपयोगकर्ताओं के निकटता तक बढ़ाता है, जिससे कई इंटरनेट ऑफ थिंग्स (IoT) उपयोग मामलों, विशेष रूप से लेटेंसी-क्रिटिकल एप्लिकेशनों की अनुमति मिलती है। स्मार्ट उपकरण, जैसे कि ट्रैफ़िक और निगरानी कैमरे, अक्सर गणना-गहन और लेटेंसी-क्रिटिकल सेवाओं को संसाधित करने के लिए पर्याप्त संसाधन नहीं रखते हैं। इसलिए, सेवाओं के घटक भागों को संसाधन और भंडारण के लिए निकटतम एज/फॉग संसाधनों पर ऑफलोड किया जा सकता है। हालांकि, जटिल सेवाओं के लिए ऑफलोडिंग निर्णय लेना अत्यधिक यादृच्छिक और गतिशील वातावरण में एक महत्वपूर्ण, फिर भी कठिन कार्य है। हाल ही में, गहरे सुदृढीकरण शिक्षण (DRL) का उपयोग कई जटिल सेवा ऑफलोडिंग समस्याओं में किया गया है; हालाँकि, मौजूदा तकनीकें केंद्रीय वातावरण के लिए सबसे उपयुक्त हैं, और उनके सर्वोत्तम उपयुक्त समाधानों की ओर संघटन धीमी है। इसके अलावा, सेवाओं के घटक भाग अक्सर पूर्वनिर्धारित डेटा निर्भरताएँ और सेवा गुणवत्ता बाधाएँ रखते हैं, जो सेवा ऑफलोडिंग की जटिलता को और बढ़ाते हैं। इन मुद्दों को हल करने के लिए, हम एक वितरित DRL तकनीक का प्रस्ताव करते हैं जो एंटर-क्रिटिक आर्किटेक्चर का पालन करता है जो असिंक्रोनस प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (APPO) पर आधारित है, ताकि प्रभावी और विविध वितरित अनुभव पथ प्रवृत्तियों का उत्पादन किया जा सके। इसके अलावा, हम PPO क्लिपिंग और V-ट्रेस तकनीकों का उपयोग ऑफ-पॉलिसी सुधार के लिए करते हैं ताकि सबसे उपयुक्त सेवा ऑफलोडिंग समाधानों की ओर तेजी से संघटन हो सके। प्राप्त परिणाम यह दर्शाते हैं कि हमारी तकनीक जल्दी संघटन करती है, उच्च स्केलेबिलिटी और अनुकूलनशीलता प्रस्तुत करती है, और विविध सेवाओं के कार्यान्वयन समय में सुधार कर अपने समकक्षों को पार करती है।