Eingeschränktes Reinforcement Learning für faire und umweltfreundliche Verkehrssteuerungssysteme

Das Verkehrssteuerungssystem (TSC) spielt eine entscheidende Rolle bei der Verwaltung des Verkehrsflusses in städtischen Gebieten. In letzter Zeit haben Modelle des Reinforcement Learning (RL) große Aufmerksamkeit für TSC erhalten, mit vielversprechenden Ergebnissen. Diese RL-TSC-Modelle müssen jedoch noch verbessert werden, um in der realen Welt eingesetzt werden zu können, da die Erkundung verschiedener Leistungsmetriken, wie fairer Verkehrsplanung oder der Auswirkungen auf die Luftqualität, begrenzt ist. In dieser Arbeit stellen wir ein eingeschränktes multi-zielgerichtetes RL-Modell vor, das mehrere eingeschränkte Ziele minimiert, während es eine höhere erwartete Belohnung erzielt. Darüber hinaus integriert unsere vorgeschlagene RL-Strategie die Spitzen- und Durchschnittsmodells zur Formulierung des RL-Problems mit maximalen Entropie Off-Policy-Modellen. Wir haben diese Strategie auf ein einzelnes TSC und ein Netzwerk von TSCs angewendet. Im Rahmen dieser eingeschränkten RL-TSC-Formulierung diskutieren wir Fairness- und Luftqualitätsparameter als Einschränkungen für das Optimierungsmodell des geschlossenen Regelkreises an TSCs, das FAirLight genannt wird. Unsere experimentelle Analyse zeigt, dass das vorgeschlagene FAirLight eine gute Verkehrsfflussleistung in Bezug auf die durchschnittliche Wartezeit erreicht und gleichzeitig fair und umweltfreundlich ist. Unsere Methode übertrifft die Basismodelle und ermöglicht eine umfassendere Sicht auf RL-TSC hinsichtlich seiner Anwendbarkeit in der realen Welt.