Aprendendo Funções de Valor Quase Decomponíveis Através da Minimização da Comunicação

O aprendizado por reforço enfrenta grandes desafios em configurações de múltiplos agentes, como escalabilidade e não-estacionariedade. Recentemente, o aprendizado de fatoração de funções de valor surgiu como uma maneira promissora de abordar esses desafios em sistemas colaborativos de múltiplos agentes. No entanto, os métodos existentes têm se concentrado em aprender funções de valor totalmente descentralizadas, que não são eficientes para tarefas que requerem comunicação. Para abordar essa limitação, este artigo apresenta uma nova estrutura para aprender funções Q quase decomponíveis (NDQ) através da minimização da comunicação, com a qual os agentes atuam por conta própria na maior parte do tempo, mas ocasionalmente enviam mensagens a outros agentes para uma coordenação eficaz. Esta estrutura hibridiza o aprendizado de fatoração de funções de valor e o aprendizado de comunicação, introduzindo dois regularizadores teórico-informacionais. Esses regularizadores maximizam a informação mútua entre a seleção de ações dos agentes e as mensagens de comunicação, enquanto minimizam a entropia das mensagens entre os agentes. Mostramos como otimizar esses regularizadores de uma maneira que se integra facilmente aos métodos existentes de fatoração de funções de valor, como o QMIX. Finalmente, demonstramos que, no benchmark de micromanagement de unidades do StarCraft, nossa estrutura supera significativamente os métodos de base e nos permite cortar mais de 80\% da comunicação sem sacrificar o desempenho. Os vídeos de nossos experimentos estão disponíveis em https: //sites. google. com/view/ndq.