VDSC: Melhorando o Tempo de Exploração com Discrepância de Valor e Contagens de Estado

Apesar da considerável atenção dada às questões de quanto e como explorar no aprendizado de reforço profundo, a investigação sobre quando explorar permanece relativamente menos pesquisada. Embora estratégias de exploração mais sofisticadas possam se destacar em ambientes de recompensa específicos e muitas vezes escassos, abordagens mais simples existentes, como -ganancioso, persistem em superá-las em um espectro mais amplo de domínios. O apelo dessas estratégias mais simples reside em sua facilidade de implementação e generalidade em uma ampla gama de domínios. A desvantagem é que esses métodos são essencialmente um mecanismo de troca cega, que ignora completamente o estado interno do agente. Neste artigo, propomos aproveitar o estado interno do agente para decidir quando explorar, abordando as deficiências dos mecanismos de troca cegos. Apresentamos a Discrepância de Valor e Contagens de Estado através da homeostasia (VDSC), uma abordagem inovadora para um timing de exploração eficiente. Resultados experimentais na suíte Atari demonstram a superioridade de nossa estratégia em relação a métodos tradicionais como -ganancioso e Boltzmann, assim como técnicas mais sofisticadas como Redes Ruidosas.