التفكير الاحتمالي التكراري للتعلم المعزز متعدد الوكلاء

البشر قادرون على نسب محتويات عقلية كامنة مثل المعتقدات أو النوايا للآخرين. المهارة الاجتماعية ضرورية في الحياة اليومية للتفكير في العواقب المحتملة لسلوكيات الآخرين من أجل التخطيط مسبقاً. من المعروف أن البشر يستخدمون هذه القدرة على التفكير تكرارياً من خلال اعتبار ما يعتقده الآخرون بشأن معتقداتهم الخاصة. في هذه الورقة، نبدأ من تكرار المستوى الأول ونقدم إطار عمل للتفكير الاحتمالي التكراري (PR2) للتعلم المعزز متعدد الوكلاء. فرضيتنا هي أنه من المفيد لكل وكيل أن يأخذ في اعتباره كيف سيتفاعل الخصوم مع سلوكياته المستقبلية. تحت إطار PR2، نستخدم طرق بايزي التباين لتقريب سياسات الخصوم الشرطية، التي يجد من خلالها كل وكيل أفضل رد ثم يحسن سياسته الخاصة. نطور خوارزميات تدريب مركزي-تنفيذ مركزي، وهي PR2-Q وPR2-الممثل-الناقد، والتي أثبتت أنها تتقارب في سيناريوهات اللعب الذاتي عندما يوجد توازن ناش واحد. تم اختبار طرقنا على كل من لعبة المصفوفة ولعبة التفاضل، اللتين تحتويان على توازن غير تافه حيث تفشل الطرق القائمة على التدرج الشائع في التقارب. تُظهر تجاربنا أنه من الضروري التفكير في كيفية اعتقاد الخصوم بما يعتقده الوكيل. نتوقع أن تسهم أعمالنا في فكرة جديدة حول نمذجة الخصوم لمجتمع التعلم المعزز متعدد الوكلاء.