Benchmarking de Algoritmos de Aprendizado por Reforço Profundo em Lote

Algoritmos de aprendizado por reforço profundo amplamente utilizados mostraram falhar no ambiente de lote - aprendendo a partir de um conjunto de dados fixo sem interação com o ambiente. Após esse resultado, houve vários artigos mostrando desempenhos razoáveis sob uma variedade de ambientes e configurações de lote. Neste artigo, benchmarkizamos o desempenho de algoritmos recentes de aprendizado por reforço em lote e off-policy sob configurações unificadas no domínio Atari, com dados gerados por uma única política comportamental parcialmente treinada. Descobrimos que, nessas condições, muitos desses algoritmos têm desempenho inferior ao DQN treinado online com a mesma quantidade de dados, assim como à política comportamental parcialmente treinada. Para introduzir uma linha de base forte, adaptamos o algoritmo Batch-Constrained Q-learning para um ambiente de ações discretas e mostramos que ele supera todos os algoritmos existentes nessa tarefa.