Tiefe multi-modale Objekterkennung und semantische Segmentierung für autonomes Fahren: Datensätze, Methoden und Herausforderungen

Jüngste Fortschritte in der Wahrnehmung für autonomes Fahren werden durch Deep Learning vorangetrieben. Um ein robustes und genaues Szenenverständnis zu erreichen, sind autonome Fahrzeuge in der Regel mit verschiedenen Sensoren (z.B. Kameras, LiDARs, Radars) ausgestattet, und multiple Wahrnehmungsmodalitäten können fusioniert werden, um deren komplementäre Eigenschaften zu nutzen. In diesem Kontext wurden viele Methoden für tiefe multi-modale Wahrnehmungsprobleme vorgeschlagen. Es gibt jedoch keine allgemeinen Richtlinien für das Design von Netzwerkarchitekturen, und Fragen wie „Was zu fusionieren“, „Wann zu fusionieren“ und „Wie zu fusionieren“ bleiben offen. Dieses Übersichtsarbeit versucht, Methodologien systematisch zusammenzufassen und Herausforderungen für tiefe multi-modale Objekterkennung und semantische Segmentierung im autonomen Fahren zu diskutieren. Zu diesem Zweck bieten wir zunächst einen Überblick über Bord-Sensoren an Testfahrzeugen, offene Datensätze und Hintergrundinformationen zur Objekterkennung und semantischen Segmentierung in der Forschung zum autonomen Fahren. Dann fassen wir die Fusionsmethodologien zusammen und diskutieren Herausforderungen und offene Fragen. Im Anhang stellen wir Tabellen bereit, die Themen und Methoden zusammenfassen. Wir bieten auch eine interaktive Online-Plattform, um auf jede Referenz zuzugreifen: https://boschresearch.github.io/multimodalperception/.