DDD17: End-to-End DAVIS Fahrdatensatz

Eventkameras, wie dynamische Vision Sensoren (DVS) und dynamische und aktive Pixel Vision Sensoren (DAVIS), können andere autonome Fahr-Sensoren ergänzen, indem sie einen gleichzeitigen Stream von Standard-Aktiv-Pixel-Sensor (APS)-Bildern und DVS zeitlichen Kontrastereignissen bereitstellen. Der APS-Stream ist eine Sequenz von Standard-Graustufen-Global-Shutter-Bildsensorrahmen. Die DVS-Ereignisse repräsentieren Helligkeitsänderungen, die zu einem bestimmten Zeitpunkt auftreten, mit einer Jitter von etwa einer Millisekunde unter den meisten Beleuchtungsbedingungen. Sie haben einen Dynamikbereich von >120 dB und effektiven Bildraten >1 kHz bei Datenraten vergleichbar mit 30 fps (Bilder/Sekunde) Bildsensoren. Um einige der Einschränkungen der aktuellen Bildaufnahme-Technologie zu überwinden, untersuchen wir in dieser Arbeit die Verwendung der kombinierten DVS- und APS-Streams in End-to-End-Fahranwendungen. Der DDD17-Datensatz, der diesem Papier beiliegt, ist der erste offene Datensatz mit annotierten DAVIS-Fahraufzeichnungen. DDD17 umfasst über 12 Stunden Aufnahmen eines 346x260 Pixel DAVIS-Sensors, der Autobahn- und Stadtfahrten bei Tageslicht, Abend, Nacht, trockenen und nassen Wetterbedingungen aufzeichnet, zusammen mit Fahrgeschwindigkeit, GPS-Position, Fahrerverhalten, Gaspedal- und Bremsbetätigung, erfasst über die onboard-Diagnoseschnittstelle des Fahrzeugs. Als Beispielanwendung führten wir eine vorläufige End-to-End-Lernstudie durch, bei der ein Convolutional Neural Network trainiert wurde, um den sofortigen Lenkwinkel aus DVS- und APS-Visualdaten vorherzusagen.