تقييم قابلية النقل من المحاكاة إلى الواقع لتعلم التعزيز

يعد تعلم سياسات التحكم في الروبوتات من المحاكاة الفيزيائية من الاهتمامات الكبيرة لمجتمع الروبوتات، حيث قد يجعل عملية التعلم أسرع وأرخص وأكثر أمانًا من خلال تخفيف الحاجة إلى تجارب باهظة الثمن في العالم الحقيقي. ومع ذلك، فإن النقل المباشر للسلوك المتعلم من المحاكاة إلى الواقع يمثل تحديًا كبيرًا. يمكن أن يؤدي تحسين سياسة على جهاز محاكاة معطل قليلاً إلى زيادة 'تحيز تحسين المحاكاة' (SOB) بسهولة. في هذه الحالة، يستغل المحسن أخطاء نمذجة المحاكي بحيث يمكن أن يتسبب السلوك الناتج في ضرر للروبوت. نتناول هذا التحدي من خلال تطبيق عشوائية المجال، أي عشوائية معايير المحاكاة الفيزيائية أثناء التعلم. ونقترح خوارزمية تُسمى تحسين السياسة المبني على المحاكاة مع تقييم القابلية للنقل (SPOTA) والتي تستخدم مُقدِرًا لـ SOB لتحديد معيار توقف للتدريب. يقوم المُقدر المقدم بت quantifying الإفراط في التكيّف مع مجموعة المجالات التي تم تجربتها أثناء التدريب. تظهر نتائجنا التجريبية على نظامين غير خطيين من الدرجة الثانية أن خوارزمية البحث عن السياسة المبنية على المحاكاة الجديدة قادرة على تعلم سياسة تحكم بشكل حصري من محاكي عشوائي، يمكن تطبيقها مباشرة على الأنظمة الحقيقية دون أي تدريب إضافي.