نحو سياسة قوية: تعزيز التعلم التعزيزي غير المتصل عبر الهجمات والدفاعات العدائية

يعالج التعلم التعزيزي غير المتصل (RL) تحدي الاستكشاف المكلف وعالي المخاطر المتأصل في RL من خلال تدريب السياسات مسبقًا على كميات كبيرة من البيانات غير المتصلة، مما يتيح النشر المباشر أو التعديل الدقيق في البيئات الواقعية. ومع ذلك، قد يؤدي هذا النموذج التدريبي إلى تقليل متانة السياسة، مما يؤدي إلى تدهور الأداء في الظروف العملية بسبب تشويش الملاحظات أو الهجمات المتعمدة. في حين تم دراسة الهجمات والدفاعات العدائية بشكل واسع في التعلم العميق، فإن تطبيقها في RL غير المتصل محدود. تقترح هذه الورقة إطار عمل لتعزيز متانة نماذج RL غير المتصل من خلال استغلال الهجمات والدفاعات العدائية المتقدمة. يهاجم الإطار مكونات الفاعل والنقاد من خلال تشويش الملاحظات أثناء التدريب واستخدام الدفاعات العدائية كنوع من التنظيم لتحسين السياسة المتعلمة. تم تقديم أربعة هجمات ودفاعين وتقييمها على معيار D4RL. تظهر النتائج ضعف كل من الفاعل والنقاد تجاه الهجمات وفعالية الدفاعات في تحسين متانة السياسة. يحمل هذا الإطار وعدًا لتعزيز موثوقية نماذج RL غير المتصل في السيناريوهات العملية.