Investigación de Objetivos de Preentrenamiento para la Generalización en el Aprendizaje por Refuerzo Basado en Visión

Recientemente, se han introducido varios métodos de preentrenamiento en el Aprendizaje por Refuerzo (RL) basado en visión. Sin embargo, su capacidad de generalización sigue siendo incierta debido a que las evaluaciones están limitadas a entornos de in-distribución y configuraciones experimentales no unificadas. Para abordar esto, introducimos el Atari Pre-training Benchmark (Atari-PB), que preentrena un modelo ResNet-50 en 10 millones de transiciones de 50 juegos de Atari y lo evalúa en diversas distribuciones de entorno. Nuestros experimentos muestran que los objetivos de preentrenamiento centrados en el aprendizaje de características independientes de tareas (por ejemplo, identificación de objetos y comprensión de dinámicas temporales) mejoran la generalización en diferentes entornos. En contraste, los objetivos centrados en el aprendizaje de conocimiento específico de tareas (por ejemplo, identificación de agentes y ajuste de funciones de recompensa) mejoran el rendimiento en entornos similares al conjunto de datos de preentrenamiento, pero no en entornos variados. Publicamos nuestros códigos, conjuntos de datos y puntos de control del modelo en https://github.com/dojeon-ai/Atari-PB.