Au-delà des attaques en pire scénario : RL robuste avec défense adaptative via des politiques non dominées

À la lumière du succès croissant de l'apprentissage par renforcement (RL) dans diverses applications réelles, une attention considérable a été portée à garantir que les politiques de RL soient robustes face à des attaques adverses lors de la phase de test. Les approches actuelles tournent essentiellement autour de la résolution d'un problème minimax pour se préparer à des scénarios pires-possible potentiels. Bien que efficaces contre des attaques fortes, ces méthodes compromettent souvent la performance en l'absence d'attaques ou en présence d'attaques faibles uniquement. Pour y remédier, nous étudions la robustesse des politiques sous le modèle d'attaque adversaire d'état bien accepté, en étendant notre focus au-delà des seules attaques pires-possibles. Nous formalisons d'abord cette tâche au moment du test comme un problème de minimisation du regret et établissons sa difficulté intrinsèque à atteindre un regret sous-linéaire lorsque la politique de référence appartient à une classe générale continue de politiques. Cette constatation nous incite à affiner la classe de politiques de référence avant la phase de test, visant une adaptation efficace au sein d'une classe finie de politiques, pouvant recourir à une sous-routine bandit adversaire. En raison de l'importance d'une petite classe finie, nous proposons un nouvel algorithme d'apprentissage itératif permettant de découvrir des politiques non dominées, formant un ensemble quasi-optimal et minimal garantissant à la fois robustesse et efficience au moment du test. La validation empirique sur Mujoco confirme la supériorité de notre approche en termes de performance naturelle et robuste, ainsi que d'adaptabilité à divers scénarios d'attaque.