Spieltheoretische kooperative Fahrspurwechsel mit datengestützten Modellen

Selbstfahrende Fahrzeuge werden zunehmend im Straßenverkehr eingesetzt. Eine der wichtigsten Herausforderungen für das autonome Fahren ist, wie solche Fahrzeuge optimal miteinander und mit ihrer Umwelt interagieren werden. In diesem Papier betrachten wir das Problem des Fahrspurwechsels, das für straßengebundene Mehrfachfahrzeugsysteme grundlegend ist, und nähern uns ihm durch eine Kombination aus Deep Reinforcement Learning (DRL) und Spieltheorie. Wir führen ein proaktives-passives Fahrspurwechsel-Framework ein und formulieren das Problem des Fahrspurwechsels als ein Markov-Spiel zwischen den proaktiven und passiven Fahrzeugen. Basierend auf verschiedenen Ansätzen zur Durchführung von DRL zur Lösung des Markov-Spiels schlagen wir ein asynchrones Fahrspurwechsel-Schema vor, wie es in einem Single-Agent-RL-Setting vorkommt, und ein synchrones kooperatives Fahrspurwechsel-Schema, das das adaptive Verhalten des anderen Fahrzeugs in die Entscheidung eines Fahrzeugs einbezieht. Experimentelle Ergebnisse zeigen, dass das synchrone Schema effektiv einen geeigneten Fusionsmoment nach ausreichendem Training schaffen und finden kann. Das hier entwickelte Framework und die Lösung zeigen das Potenzial der Verwendung von Reinforcement Learning zur Lösung von Aufgaben für autonome Fahrzeuge mit mehreren Agenten, wie z.B. dem Fahrspurwechsel, da sie als Markov-Spiele formuliert sind.