Une perspective sur l'estimation de la valeur Q en apprentissage par renforcement hors ligne à en ligne

L'apprentissage par renforcement hors ligne à en ligne (O2O RL) vise à améliorer la performance d'une politique pré-entraînée hors ligne en utilisant uniquement quelques échantillons en ligne. Fondées sur des algorithmes d'apprentissage par renforcement hors ligne, la plupart des méthodes O2O se concentrent sur l'équilibre entre l'objectif RL et le pessimisme, ou sur l'utilisation des échantillons hors ligne et en ligne. Dans cet article, sous un nouvel angle, nous étudions systématiquement les défis encore présents en O2O RL et identifions que la raison derrière la lente amélioration des performances et l'instabilité de la fine-tuning en ligne réside dans l'estimation inexacte de la valeur Q héritée du pré-entraînement hors ligne. Plus précisément, nous démontrons que le biais d'estimation et le classement inexact des valeurs Q provoquent un signal trompeur pour la mise à jour de la politique, rendant les algorithmes standard d'apprentissage par renforcement hors ligne, tels que CQL et TD3-BC, inefficaces dans la fine-tuning en ligne. Sur la base de cette observation, nous traitons le problème de l'estimation de la valeur Q par deux techniques : (1) la mise à jour perturbée des valeurs et (2) l'augmentation de la fréquence des mises à jour des valeurs Q. La première technique homogénéise l'estimation biaisée des valeurs Q avec des pics marqués, empêchant l'exploitation précoce par la politique d'actions sous-optimales. La seconde atténue le biais d'estimation hérité du pré-entraînement hors ligne en accélérant l'apprentissage. Des expériences étendues sur les environnements MuJoco et Adroit démontrent que la méthode proposée, nommée SO2, atténue significativement les problèmes d'estimation de la valeur Q et améliore de manière constante la performance par rapport aux méthodes à la pointe jusqu'à 83,1 %.