Transferência Lateral para Aprendizagem por Reforço Multiagente

Alguns pesquisadores introduziram mecanismos de transferência de aprendizado à aprendizagem por reforço multiagente (MARL). No entanto, os trabalhos existentes dedicados à transferência entre tarefas para sistemas multiagentes foram projetados apenas para agentes homogêneos ou domínios semelhantes. Este trabalho propõe um método de transferência cruzada versátil, chamado transferência lateral multiagente (MALT), auxiliando a MARL na redução da carga de treinamento. Discutimos vários desafios no desenvolvimento de um método de transferência de aprendizado multiagente de propósito geral e fornecemos uma forma viável de reutilizar conhecimentos para MARL. No método desenvolvido, tomamos características como objeto de transferência ao invés de políticas ou experiências, inspirados pela rede progressiva. Para alcançar uma transferência mais eficiente, atribuímos redes de política pré-treinadas para os agentes com base em agrupamento, enquanto um módulo de atenção é introduzido para melhorar a estrutura de transferência. O método proposto não possui requisitos rígidos para a tarefa fonte e a tarefa alvo. Comparado com os trabalhos existentes, nosso método pode transferir conhecimento entre agentes heterogêneos e também evitar transferência negativa no caso de tarefas totalmente diferentes. Até onde sabemos, este artigo é o primeiro trabalho dedicado à transferência cruzada de propósito geral para MARL. Vários experimentos em diversos cenários foram realizados para comparar o desempenho do método proposto com as linhas de base. Os resultados demonstram que o método é suficientemente flexível para a maioria das configurações, incluindo configurações cooperativas, competitivas, homogêneas e heterogêneas.