Compartición de Conocimiento Cautelosamente Optimista para el Aprendizaje por Refuerzo Multi-Agente Cooperativo

Si bien el entrenamiento descentralizado es atractivo en el aprendizaje por refuerzo multi-agente (MARL) por su excelente escalabilidad y robustez, los desafíos de coordinación inherentes a las tareas colaborativas resultan en numerosas interacciones para que los agentes aprendan buenas políticas. Para aliviar este problema, los métodos de asesoramiento de acciones permiten a los agentes experimentados compartir su conocimiento sobre qué hacer, mientras que los agentes menos experimentados siguen estrictamente el consejo recibido. Sin embargo, este método de compartir y utilizar el conocimiento puede obstaculizar la exploración de mejores estados por parte del equipo, ya que los agentes pueden verse indebidamente influenciados por consejos subóptimos o incluso adversos, especialmente en las primeras etapas del aprendizaje. Inspirado en el hecho de que los humanos pueden aprender no solo del éxito sino también del fracaso de otros, este documento propone un nuevo marco de compartición de conocimiento llamado Compartición de Conocimiento Cautelosamente Optimista (CONS). CONS permite a cada agente compartir tanto conocimiento positivo como negativo y asimilar cautelosamente el conocimiento de otros, mejorando así la eficiencia de la exploración en las primeras etapas y la robustez de los agentes ante consejos adversos. Además, considerando la mejora continua de las políticas, los agentes valoran más el conocimiento negativo en las primeras etapas del aprendizaje y cambian su enfoque hacia el conocimiento positivo en las etapas posteriores. Nuestro marco se puede integrar fácilmente en métodos existentes basados en Q-learning sin introducir costos de entrenamiento adicionales. Evaluamos CONS en varias tareas desafiantes de múltiples agentes y encontramos que sobresale en entornos donde los patrones de comportamiento óptimos son difíciles de descubrir, superando las líneas base en términos de tasa de convergencia y rendimiento final.