Transfert de Politique Adaptatif Sûr par Apprentissage par Renforcement pour le Contrôle Multiagent Distribué

L'entraînement de l'apprentissage par renforcement (RL) multiagent est généralement difficile et chronophage en raison de l'interférence mutuelle entre les agents. Les préoccupations de sécurité rendent un processus d'entraînement déjà difficile encore plus ardu. Cette étude propose une approche d'apprentissage par renforcement avec transfert de politique adaptatif et sécurisé pour le contrôle coopératif multiagent. Plus précisément, une méthode de transfert d'apprentissage de politique hors politique pour pion et suiveur (PFOPT) est présentée pour aider les agents suiveurs à acquérir des connaissances et de l'expérience d'un seul agent pion bien entraîné. Notamment, l'approche conçue peut transférer à la fois la représentation de la politique et l'expérience d'échantillonnage fournie par la politique pion dans l'apprentissage hors politique. Plus important encore, la méthode proposée peut ajuster de manière adaptative le poids d'apprentissage de l'expérience antérieure et de l'exploration en fonction de la distance de Wasserstein entre les distributions de probabilité des politiques du pion et du suiveur. Les études de cas montrent que les agents distribués formés par la méthode proposée peuvent accomplir une tâche collaborative et acquérir les récompenses maximales tout en minimisant les violations de contraintes. De plus, la méthode proposée peut également atteindre une performance satisfaisante en termes de vitesse d'apprentissage et de taux de réussite.