Effizientes sampling-basiertes Maximum-Entropie Inverse Verstärkungslernen mit Anwendung auf autonomes Fahren

In den letzten Jahrzehnten haben wir bedeutende Fortschritte im Bereich des autonomen Fahrens beobachtet. Fortschrittliche Techniken, die auf Optimierung und Verstärkungslernen basieren, werden zunehmend leistungsfähiger bei der Lösung des Vorwärtsproblems: Gegebenenfalls gestaltete Belohnungs-/Kostenfunktionen, wie sollten wir diese optimieren und Fahrpolitiken erhalten, die sicher und effizient mit der Umgebung interagieren? Dieser Fortschritt hat eine ebenso wichtige Frage aufgeworfen: Was sollten wir optimieren? Anstatt die Belohnungsfunktionen manuell festzulegen, ist es wünschenswert, dass wir extrahieren können, was menschliche Fahrer aus echten Verkehrsdaten zu optimieren versuchen und dies autonomen Fahrzeugen zuzuweisen, um eine natürlichere und transparentere Interaktion zwischen Menschen und intelligenten Agenten zu ermöglichen. Um dieses Problem anzugehen, präsentieren wir in diesem Schreiben einen effizienten sampling-basierten Maximum-Entropie Inversen Verstärkungslern-Algorithmus (IRL). Anders als bestehende IRL-Algorithmen kann der vorgeschlagene Algorithmus durch die Einführung eines effizienten Kontinuierlichen-Domain-Trajektorien-Samplers direkt die Belohnungsfunktionen im kontinuierlichen Bereich lernen, während er die Unsicherheiten in den demonstrierten Trajektorien menschlicher Fahrer berücksichtigt. Wir bewerten den vorgeschlagenen Algorithmus mithilfe von realen Fahrdaten, einschließlich sowohl nicht-interaktiver als auch interaktiver Szenarien. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene Algorithmus eine genauere Vorhersageleistung mit schnellerer Konvergenzgeschwindigkeit und besserer Generalisierung im Vergleich zu anderen Basislinien-IRL-Algorithmen erreicht.