Hochpräzise Tiefenschätzung mit der 3D LiDAR- und Stereo-Fusion

Wir präsentieren eine Architektur für ein tiefes konvolutionales neuronales Netzwerk (CNN) zur hochpräzisen Tiefenschätzung, indem wir spärliche 3D LiDAR- und dichte Stereo-Tiefeninformationen gemeinsam nutzen. In diesem Netzwerk werden die komplementären Eigenschaften von spärlichem 3D LiDAR und dichter Stereo-Tiefe gleichzeitig in einem Boosting-Verfahren codiert. Maßgeschneidert für das Problem der LiDAR- und Stereo-Fusion unterscheidet sich das vorgeschlagene Netzwerk von vorherigen CNNs durch die Integration eines kompakten Convolution-Moduls, das mit den Einschränkungen mobiler Geräte eingesetzt werden kann. Da die Trainingsdaten für die LiDAR- und Stereo-Fusion recht begrenzt sind, stellen wir einen einfachen, aber effektiven Ansatz zur Reproduktion des ursprünglichen KITTI-Datensatzes vor. Die rohen LiDAR-Scans werden durch die Anpassung eines handelsüblichen Stereo-Algorithmus und einer Vertrauensmaßnahme augmentiert. Wir bewerten das vorgeschlagene Netzwerk anhand des KITTI-Benchmarks und der von unserem Multisensor-Erfassungssystem gesammelten Daten. Experimente zeigen, dass das vorgeschlagene Netzwerk über Datensätze hinweg verallgemeinert und signifikant genauer ist als verschiedene Basisansätze.