Graphe de Coordination Sensible aux Groupes pour l'Apprentissage par Renforcement Multi-Agent

L'Apprentissage par Renforcement Multi-Agent Coopératif (MARL) nécessite une collaboration fluide entre les agents, souvent représentée par un graphe relationnel sous-jacent. Les méthodes existantes pour apprendre ce graphe se concentrent principalement sur les relations entre paires d'agents, négligeant les relations d'ordre supérieur. Bien que plusieurs approches tentent d'étendre la modélisation de la coopération pour englober les similarités comportementales au sein des groupes, elles échouent généralement à apprendre simultanément le graphe latent, limitant ainsi l'échange d'information entre des agents partiellement observés. Pour dépasser ces limitations, nous présentons une nouvelle approche pour inférer le Graphe de Coordination Sensible aux Groupes (GACG), conçu pour capturer à la fois la coopération entre paires d'agents basée sur les observations actuelles et les dépendances au niveau de groupe issues des schémas comportementaux observés à travers les trajectoires. Ce graphe est ensuite utilisé dans une convolution de graphe pour l'échange d'information entre agents lors de la prise de décision. Afin de garantir en outre la cohérence comportementale parmi les agents du même groupe, nous introduisons une perte de distance de groupe, qui favorise la cohésion du groupe et encourage la spécialisation entre groupes. Nos évaluations, menées sur des tâches de micromanagement de StarCraft II, démontrent la performance supérieure du GACG. Une étude d'ablation fournit en outre des preuves expérimentales de l'efficacité de chaque composant de notre méthode.