PV-RCNN++: Punkt-Voxel-Feature-Set-Abstraktion mit lokaler Vektorrepräsentation für die 3D-Objekterkennung

Abstract Die 3D-Objekterkennung erhält dank ihrer zahlreichen Anwendungen in verschiedenen Bereichen zunehmend Aufmerksamkeit von der Industrie und der Wissenschaft. In diesem Papier schlagen wir Punkt-Voxel-Bereichsbasierte Konvolutionale Neuronale Netzwerke (PV-RCNNs) für die 3D-Objekterkennung auf Punktwolken vor. Zunächst schlagen wir einen neuartigen 3D-Detektor, PV-RCNN, vor, der die 3D-Erkennungsleistung durch die tiefgreifende Integration des Feature-Lernens sowohl der punktbasierten Set-Abstraktion als auch der voxelbasierten spärlichen Konvolution durch zwei neuartige Schritte verbessert: das Voxel- zu Schlüsselpunkt-Szenen-Encoding und die Schlüsselpunkt-zu-Gitter-RoI-Feature-Abstraktion. Zweitens schlagen wir ein fortschrittliches Framework, PV-RCNN++, für eine effizientere und genauere 3D-Objekterkennung vor. Es besteht aus zwei wesentlichen Verbesserungen: sektorisierte vorschlagszentrierte Abtastung zur effizienten Erzeugung repräsentativerer Schlüsselpunkt, und VectorPool-Aggregation zur besseren Aggregation lokaler Punktmerkmale mit wesentlich geringerem Ressourcenverbrauch. Mit diesen beiden Strategien ist unser PV-RCNN++ etwa 3× schneller als PV-RCNN und erzielt gleichzeitig eine bessere Leistung. Die Experimente zeigen, dass unser vorgeschlagenes PV-RCNN++-Framework eine Spitzenleistung bei der 3D-Erkennung im großflächigen und wettbewerbsintensiven Waymo Open Dataset mit einer Inferenzgeschwindigkeit von 10 FPS im Erkennungsbereich von 150m×150m erreicht.