CLIPose: Kategorieweise Objektpose-Schätzung mit vortrainiertem Vision-Language-Wissen

Die meisten bestehenden Methoden zur kategorieweisen Objektpose-Schätzung widmen sich dem Lernen von Objektkategorieinformationen aus der Punktwolkenmodaltität. Allerdings ist der Umfang der 3D-Datensätze aufgrund der hohen Kosten für die Erfassung und Annotation von 3D-Daten begrenzt. Folglich können die aus diesen begrenzten Punktwolkensamples extrahierten Kategorienmerkmale möglicherweise nicht umfassend sein. Dies motiviert uns zu untersuchen, ob wir auf Wissen anderer Modalitäten zurückgreifen können, um Kategoriedaten zu erhalten. Inspiriert von dieser Motivation schlagen wir CLIPose vor, ein neuartiges 6D-Pose-Rahmenwerk, das das vortrainierte Vision-Language-Modell verwendet, um das Lernen von Objektkategorieinformationen zu verbessern, welches reichlich semantisches Wissen aus bild- und textbasierten Modalitäten voll ausschöpfen kann. Um den 3D-Encoder dazu zu bringen, kategorierespezifische Merkmale effizienter zu lernen, stimmen wir die Repräsentationen dreier Modalitäten im Merkmalsraum über multimodales kontrastives Lernen ab. Neben der Nutzung des vortrainierten Wissens des CLIP-Modells erwarten wir auch, dass es empfindlicher auf Posparameter reagiert. Daher führen wir einen Ansatz zur Feinabstimmung von Aufforderungen ein, um den Bildencoder anzupassen, während wir Rotations- und Translationsinformationen in die Textbeschreibungen einbeziehen. CLIPose erreicht eine erstklassige Leistung auf zwei etablierten Benchmark-Datensätzen, REAL275 und CAMERA25, und läuft während der Inferenz in Echtzeit (40FPS).