Una encuesta integral sobre el aprendizaje por refuerzo multiagente

Los sistemas multiagente están encontrando rápidamente aplicaciones en una variedad de dominios, incluyendo robótica, control distribuido, telecomunicaciones y economía. La complejidad de muchas tareas que surgen en estos dominios las hace difíciles de resolver con comportamientos de agente preprogramados. Los agentes deben, en cambio, descubrir una solución por sí mismos, utilizando el aprendizaje. Una parte significativa de la investigación sobre el aprendizaje multiagente se centra en técnicas de aprendizaje por refuerzo. Este documento ofrece una encuesta integral sobre el aprendizaje por refuerzo multiagente (MARL). Un tema central en el campo es la declaración formal del objetivo de aprendizaje multiagente. Diferentes puntos de vista sobre este tema han dado lugar a la propuesta de muchos objetivos diferentes, entre los cuales se pueden distinguir dos puntos focales: la estabilidad de la dinámica de aprendizaje de los agentes y la adaptación al comportamiento cambiante de los otros agentes. Los algoritmos MARL descritos en la literatura apuntan, ya sea explícita o implícitamente, a uno de estos dos objetivos o a una combinación de ambos, en un entorno completamente cooperativo, completamente competitivo, o más general. Una selección representativa de estos algoritmos se discute en detalle en este documento, junto con los problemas específicos que surgen en cada categoría. Además, se describen los beneficios y desafíos del MARL junto con algunos de los dominios problemáticos donde se han aplicado las técnicas MARL. Finalmente, se presenta una perspectiva para el campo.