Motivação Intrínseca e Currículos Automáticos via Auto-Jogo Assimétrico

Descrevemos um esquema simples que permite a um agente aprender sobre seu ambiente de maneira não supervisionada. Nosso esquema coloca duas versões do mesmo agente, Alice e Bob, uma contra a outra. Alice propõe uma tarefa para Bob concluir; e então Bob tenta completar a tarefa. Neste trabalho, nos concentraremos em dois tipos de ambientes: ambientes (quase) reversíveis e ambientes que podem ser redefinidos. Alice "propõe" a tarefa realizando uma sequência de ações e, em seguida, Bob deve desfazê-las ou repeti-las, respectivamente. Por meio de uma estrutura de recompensa apropriada, Alice e Bob geram automaticamente um currículo de exploração, permitindo o treinamento não supervisionado do agente. Quando Bob é implantado em uma tarefa de RL dentro do ambiente, esse treinamento não supervisionado reduz o número de episódios supervisionados necessários para aprender e, em alguns casos, converge para uma recompensa maior.