Aprendizado por Reforço Multitarefa Modular com Esboços de Políticas

Descrevemos uma estrutura para aprendizado por reforço profundo multitarefa orientado por esboços de políticas. Os esboços anotam tarefas com sequências de subtarefas nomeadas, fornecendo informações sobre relações estruturais de alto nível entre as tarefas, mas não sobre como implementá-las---especificamente, não fornecendo a orientação detalhada utilizada por muitos trabalhos anteriores sobre abstrações de políticas para aprendizado por reforço (por exemplo, recompensas intermediárias, sinais de conclusão de subtarefas ou motivações intrínsecas). Para aprender com esboços, apresentamos um modelo que associa cada subtarefa a uma subpolítica modular e maximiza conjuntamente a recompensa sobre políticas específicas da tarefa, ligando parâmetros entre subpolíticas compartilhadas. A otimização é realizada por meio de um objetivo de treinamento desacoplado de ator-crítico que facilita o aprendizado de comportamentos comuns a partir de múltiplas funções de recompensa dissimilares. Avaliamos a eficácia de nossa abordagem em três ambientes com controle discreto e contínuo, e com recompensas escassas que podem ser obtidas apenas após completar um número de subobjetivos de alto nível. Os experimentos mostram que usar nossa abordagem para aprender políticas guiadas por esboços oferece um desempenho melhor do que as técnicas existentes para aprender políticas específicas da tarefa ou compartilhadas, ao mesmo tempo que induz naturalmente uma biblioteca de comportamentos primitivos interpretáveis que podem ser recombinados para se adaptar rapidamente a novas tarefas.