Echtzeit-monokulare Pose-Schätzung von 3D-Objekten unter Verwendung von zeitlich konsistenten lokalen Farbhistogrammen

Wir präsentieren einen neuartigen Ansatz zur Schätzung der 6DOF-Pose und Segmentierung von starren 3D-Objekten unter Verwendung einer einzelnen monokularen RGB-Kamera, der auf zeitlich konsistenten, lokalen Farbhistogrammen basiert. Wir zeigen, dass dieser Ansatz in Fällen mit unordentlichen Hintergründen, heterogenen Objekten und Abschattierungen frühere Methoden übertrifft. Die vorgeschlagenen Histogramme können als statistische Objektbeschreibungen innerhalb einer Template-Matching-Strategie zur Pose-Wiederherstellung nach temporärem Trackingverlust verwendet werden, z. B. verursacht durch massive Abschattung oder wenn das Objekt den Sichtbereich der Kamera verlässt. Die Beschreibungen können online innerhalb weniger Sekunden trainiert werden, indem ein handgehaltenes Objekt vor einer Kamera bewegt wird. Während der Trainingsphase ist unser Ansatz bereits in der Lage, sich von unbeabsichtigtem Trackingverlust zu erholen. Wir demonstrieren die Leistung unserer Methode im Vergleich zum Stand der Technik in verschiedenen herausfordernden Experimenten, einschließlich eines beliebten öffentlichen Datensatzes.