QMIX: تحليل دالة القيمة الأحادية للمنظومه في التعلم المتعمق بالعديد من الوكلاء

في العديد من البيئات الواقعية، يجب على فريق من الوكلاء تنسيق سلوكهم أثناء عملهم بطريقة غير مركزية. في الوقت نفسه، غالبًا ما يكون من الممكن تدريب الوكلاء بطريقة مركزية في بيئة محاكية أو مختبرية، حيث تكون المعلومات حول الحالة العالمية متاحة وتُرفع قيود الاتصال. يُعد تعلم قيم العمل المشتركة المشروطة بمعلومات الحالة الإضافية طريقة جذابة لاستغلال التعلم المركزي، لكن الاستراتيجية الأفضل لاستخراج السياسات غير المركزية غير واضحة. حلنا هو QMIX، وهي طريقة قائمة على القيمة جديدة يمكن أن تدرب السياسات غير المركزية بطريقة مركزية من النهاية إلى النهاية. تَستخدم QMIX شبكة تقدر قيم العمل المشتركة كعملية معقدة غير خطية من قيم كل وكيل تعتمد فقط على الملاحظات المحلية. نحن نفرض هيكليًا أن قيمة العمل المشتركة تكون أحادية الاتجاه في قيم كل وكيل، مما يسمح بالتعظيم القابل للتحكم لقيمة العمل المشتركة في التعلم خارج السياسة، ويضمن التناسق بين السياسات المركزية وغير المركزية. نقيم QMIX على مجموعة صعبة من مهام الإدارة الدقيقة في StarCraft II، ونظهر أن QMIX تتجاوز بشكل كبير طرق التعلم المعزز متعددة الوكلاء القائمة على القيمة الموجودة.