Aprendendo Brincando - Resolvendo Tarefas de Recompensa Rara do Zero

Propomos o Controle Auxiliar Programado (SAC-X), um novo paradigma de aprendizado no contexto do Aprendizado por Reforço (RL). O SAC-X permite o aprendizado de comportamentos complexos - do zero - na presença de múltiplos sinais de recompensa rara. Para isso, o agente é equipado com um conjunto de tarefas auxiliares gerais, que tenta aprender simultaneamente por meio de RL off-policy. A ideia central do nosso método é que a programação e execução ativas (aprendidas) de políticas auxiliares permitem que o agente explore seu ambiente de forma eficiente - permitindo que ele se destaque no RL de recompensa rara. Nossos experimentos em vários cenários desafiadores de manipulação robótica demonstram o poder da nossa abordagem.