Mejorando la eficiencia de muestra del aprendizaje por refuerzo multiagente con política no experta para el control de agrupamiento

Los algoritmos de control de un sistema multiagente (MAS) se han aplicado a muchos dispositivos de Internet de las Cosas, como vehículos aéreos no tripulados y vehículos submarinos autónomos. El control de agrupamiento es un problema crucial en MAS para mejorar la seguridad y cooperatividad de los agentes, lo que requiere que los agentes mantengan el grupo al navegar hacia una posición objetivo y evitar colisiones. En comparación con los algoritmos tradicionales, los métodos basados en el aprendizaje por refuerzo multiagente (MARL) pueden resolver el problema del control de agrupamiento de manera más flexible y adaptarse a entornos más complejos. Sin embargo, los métodos basados en MARL exigen un gran número de interacciones entre los agentes y el entorno, resultando en el problema de la ineficiencia de muestra. En este artículo, proponemos un MARL asistido por política no experta (NPA-MARL) para mejorar la eficiencia de muestra, que utiliza un algoritmo MARL fundamental y una política previa cuyo rendimiento puede ser no experto. Antes del entrenamiento en línea de MARL, NPA-MARL genera demostraciones mediante la política no experta para preentrenar a los agentes, a la vez que previene el sobreajuste de las demostraciones. Durante el entrenamiento en línea, NPA-MARL instruye a los agentes para imitar la política no experta si la política no experta es mejor en el reconocimiento de los agentes. Aprovechamos NPA-MARL para resolver el problema del control de agrupamiento. Los resultados experimentales muestran que NPA-MARL mejora la eficiencia de muestra y el rendimiento de la política en el control de agrupamiento. Además, NPA-MARL tiene la escalabilidad de más agentes y la flexibilidad de elección de la política no experta y un algoritmo MARL fundamental.