Uma Pesquisa sobre Aprendizado por Reforço Offline: Taxonomia, Revisão e Problemas Abertos

Com a adoção generalizada do aprendizado profundo, o aprendizado por reforço (RL) experimentou um aumento dramático em popularidade, escalando para problemas anteriormente intratáveis, como jogar jogos complexos a partir de observações em pixel, sustentar conversas com humanos e controlar agentes robóticos. No entanto, ainda existe uma ampla gama de domínios inacessíveis ao RL devido ao alto custo e ao perigo de interagir com o ambiente. O RL offline é um paradigma que aprende exclusivamente a partir de conjuntos de dados estáticos de interações coletadas anteriormente, tornando viável extrair políticas de conjuntos de dados de treinamento grandes e diversos. Algoritmos eficazes de RL offline têm um intervalo muito mais amplo de aplicações do que o RL online, sendo particularmente atraentes para aplicações do mundo real, como educação, saúde e robótica. Neste trabalho, contribuímos com uma taxonomia unificadora para classificar métodos de RL offline. Além disso, fornecemos uma revisão abrangente dos mais recentes avanços algorítmicos na área usando uma notação unificada, bem como uma revisão das propriedades e das falhas dos benchmarks existentes. Adicionalmente, fornecemos uma figura que resume o desempenho de cada método e classe de métodos em diferentes propriedades de conjuntos de dados, equipando os pesquisadores com as ferramentas para decidir qual tipo de algoritmo é o mais adequado para o problema em questão e identificar quais classes de algoritmos parecem mais promissoras. Finalmente, oferecemos nossa perspectiva sobre problemas abertos e propomos direções futuras de pesquisa para este campo em rápida expansão.