Apprentissage par renforcement sécurisé de bout en bout grâce à des fonctions barrières pour des tâches de contrôle continu critiques pour la sécurité

Les algorithmes d'apprentissage par renforcement (RL) ont eu un succès limité au-delà des applications simulées, et l'une des principales raisons est l'absence de garanties de sécurité pendant le processus d'apprentissage. Les systèmes du monde réel échoueraient ou se briseraient avant qu'un contrôleur optimal puisse être appris. Pour résoudre ce problème, nous proposons une architecture de contrôleur qui combine (1) un contrôleur basé sur le RL sans modèle avec (2) des contrôleurs basés sur des modèles utilisant des fonctions barrières de contrôle (CBFs) et (3) l'apprentissage en ligne des dynamiques du système inconnu, afin d'assurer la sécurité pendant l'apprentissage. Notre cadre général tire parti du succès des algorithmes RL pour apprendre des contrôleurs haute performance, tandis que les contrôleurs basés sur les CBF garantissent à la fois la sécurité et guident le processus d'apprentissage en contraignant l'ensemble des politiques explorables. Nous utilisons des processus gaussiens (GPs) pour modéliser les dynamiques du système et ses incertitudes. Notre nouvel algorithme de synthèse de contrôleur, RL-CBF, garantit une sécurité avec une probabilité élevée pendant le processus d'apprentissage, indépendamment de l'algorithme RL utilisé, et démontre une plus grande efficacité d'exploration des politiques. Nous testons notre algorithme sur (1) le contrôle d'un pendule inversé et (2) le suivi autonome de voitures avec communication sans fil entre véhicules, et montrons que notre algorithme atteint une efficacité d'échantillonnage bien supérieure lors de l'apprentissage par rapport à d'autres algorithmes à la pointe de la technologie et maintient la sécurité pendant l'intégralité du processus d'apprentissage.