Évitement d'obstacles pour véhicule autonome avec apprentissage par renforcement

L'évitement d'obstacles est une fonction importante dans le contrôle des véhicules autonomes. Lorsque le véhicule se déplace de n'importe quelle position de départ arbitraire à n'importe quelle position cible dans l'environnement, un chemin approprié doit éviter à la fois les obstacles statiques et les obstacles mobiles de forme arbitraire. Il existe de nombreux scénarios possibles, et traiter manuellement tous les cas sera probablement trop simpliste. Dans cet article, l'apprentissage par renforcement est appliqué au problème pour former des stratégies efficaces. Il y a deux défis majeurs qui rendent le véhicule autonome différent des autres tâches robotiques. Premièrement, afin de contrôler le véhicule avec précision, l'espace d'action doit être continu, ce qui ne peut pas être traité par l'apprentissage Q traditionnel. Deuxièmement, le véhicule autonome doit satisfaire diverses contraintes, y compris les contraintes dynamiques du véhicule et les règles de circulation. Trois contributions sont faites dans cet article. Premièrement, un algorithme amélioré de Deep Deterministic Policy Gradients (DDPG) est proposé pour résoudre le problème de l'espace d'action continu, afin que l'angle de direction continu et l'accélération puissent être obtenus. Deuxièmement, en tenant compte des contraintes du véhicule, y compris internes et externes, un chemin plus raisonnable pour l'évitement des obstacles est conçu. Troisièmement, les données de divers capteurs sont intégrées dans le véhicule afin de satisfaire le besoin d'informations d'entrée de l'algorithme, y compris l'état du véhicule et l'état de l'environnement environnant. En outre, l'algorithme est testé sur un simulateur de véhicule open source pour la course appelé TORCS, qui signifie The Open Racing Car Simulator. Les résultats démontrent l'efficacité et la robustesse de la méthode.