3D-SIS: 3D semantische Instanzsegmentierung von RGB-D-Scans

Wir stellen 3D-SIS vor, eine neuartige Architektur für neuronale Netzwerke zur 3D semantischen Instanzsegmentierung in handelsüblichen RGB-D-Scans. Die zentrale Idee unserer Methode ist es, sowohl von geometrischen als auch von Farbsignalen gemeinsam zu lernen, wodurch präzise Instanzvorhersagen ermöglicht werden. Anstatt ausschließlich auf 2D-Rahmen zu arbeiten, stellen wir fest, dass die meisten Anwendungen der Computer Vision mehrsichtige RGB-D-Eingaben zur Verfügung haben, die wir nutzen, um einen Ansatz zur 3D-Instanzsegmentierung zu konstruieren, der diese multimodalen Eingaben effektiv zusammenführt. Unser Netzwerk nutzt hochauflösende RGB-Eingaben, indem es 2D-Bilder mit dem volumetrischen Gitter auf Basis der Pose-Ausrichtung der 3D-Rekonstruktion assoziiert. Für jedes Bild extrahieren wir zunächst 2D-Features für jedes Pixel mit einer Reihe von 2D-Faltungen; anschließend projizieren wir den resultierenden Merkmalsvektor zurück auf das zugehörige Voxel im 3D-Gitter. Diese Kombination aus 2D- und 3D-Merkmallernen ermöglicht eine signifikant höhere Genauigkeit bei der Objekterkennung und Instanzsegmentierung als alternativen Technologien. Wir zeigen Ergebnisse sowohl auf synthetischen als auch auf realen öffentlichen Benchmarks und erreichen eine Verbesserung der mAP um über 13 bei realen Daten.