Tablas y Aprendizaje Profundo para el Índice de Whittle

La política del índice de Whittle es una heurística que ha mostrado un rendimiento notablemente bueno (con óptima asintótica garantizada) cuando se aplica a la clase de problemas conocidos como Problemas de Bandidos Multidimensionales Inquietos (RMABPs). En este artículo presentamos QWI y QWINN, dos algoritmos de aprendizaje por refuerzo, respectivamente tabular y profundo, para aprender el índice de Whittle para el criterio descontado total. La característica clave es el uso de dos escalas de tiempo, una más rápida para actualizar los valores Q de estado-acción, y una relativamente más lenta para actualizar los índices de Whittle. En nuestro principal resultado teórico mostramos que QWI, que es una implementación tabular, converge a los verdaderos índices de Whittle. Luego presentamos QWINN, una adaptación del algoritmo QWI que utiliza redes neuronales para calcular los valores Q en la escala de tiempo más rápida, que es capaz de extrapolar información de un estado a otro y se escala de forma natural a entornos de gran espacio de estado. Para QWINN, mostramos que todos los mínimos locales del error de Bellman son equilibrios locales estables, lo cual es el primer resultado de su tipo para esquemas basados en DQN. Cálculos numéricos muestran que QWI y QWINN convergen más rápido que el algoritmo estándar de Q-learning, el Q-learning aproximado basado en redes neuronales y otros algoritmos de vanguardia.