Die robotische Manipulation unbekannter Objekte stützt sich häufig auf Zero-Shot-Methoden zur 6D-Objektposenschätzung, die typischerweise ein Mesh als Referenzrepräsentation verwenden. Die Erstellung hochauflösender Meshes erfordert jedoch in der Regel spezialisierte hardwarebasierte 3D-Scanning-Technologien und manuelle Nachbearbeitung. Die Entwicklung einer automatisierten Softwarelösung, die lediglich ein Objektvideo als Eingabe benötigt, könnte den Bedarf an teurer Hardware eliminieren, die Zugänglichkeit erhöhen und den manuellen Aufwand reduzieren. Neue Techniken zur Novel View Synthesis (NVS), darunter 2D Gaussian Splatting (2DGS) und Sparse Voxels Rasterization (SVRaster), rekonstruieren iterativ uneingeschränkte Umgebungen, um fotorealistische 3D-Szenen zu erzeugen, wobei eine präzise Oberflächenrekonstruktion als Nebenprodukt entsteht. Folglich bestand das Hauptziel dieser Forschung darin, eine automatisierte Mesh-Generierungspipeline zu entwickeln, die diese hochwertigen 3D-Informationen integriert und aus Datenerfassung, Kameraregistrierung und Punktwolkengenerierung, metrischer Höhenschätzung sowie anschließender NVS-basierter Mesh-Generierung besteht. Bei erfolgreicher Kameraregistrierung durch MASt3R-SfM oder VGGT erzeugt 2DGS hochpräzise Meshes innerhalb von Minuten, während SVRaster Meshes mit geringerer geometrischer Genauigkeit produziert, das Training aber nur Sekunden dauert. Für die metrische Skalierung lieferte die Kombination von nahansichtigen objektzentrierten Bildern und weitwinkligen Scanszenenbildern mittels MASt3R konsistente Schätzungen. Die Evaluierung mit BOP YCB-V zeigt eine starke Leistung bei den Segmentierungs- und Posenschätzungsmethoden CNOS, SAM-6D und FoundationPose, ohne signifikante Unterschiede zwischen den 2DGS- und SVRaster-Meshes. Schließlich deuten empirische robotische Greifexperimente mit Supermarktobjekten und der leistungsstärksten Posenschätzungspipeline CNOS/FoundationPose auf eine robuste Leistung selbst bei moderaten Skalierungsfehlern in den generierten Meshes hin.
Stefan Lechner (Thu,) studied this question.