Datengetriebenes Szenenverständnis aus 3D-Modellen

In diesem Papier schlagen wir einen datengetriebenen Ansatz vor, um Repositorien von 3D-Modellen für das Szenenverständnis zu nutzen. Unsere Fähigkeit, das, was wir in einem Bild sehen, mit einer großen Sammlung von 3D-Modellen zu verknüpfen, ermöglicht es uns, Informationen aus diesen Modellen zu übertragen und ein reichhaltiges Verständnis der Szene zu schaffen. Wir entwickeln ein Framework zur automatischen Kalibrierung einer Kamera, zur Darstellung von 3D-Modellen aus dem Blickwinkel, aus dem ein Bild aufgenommen wurde, und zur Berechnung eines Ähnlichkeitsmaßes zwischen jedem 3D-Modell und einem Eingabebild. Wir demonstrieren diesen datengetriebenen Ansatz im Kontext der Geometrierfassung und zeigen die Fähigkeit, die Identitäten und Posen von Objekten in einer Szene zu finden. Zusätzlich präsentieren wir einen neuen Datensatz mit annotierter Szenengeometrie. Diese Daten ermöglichen es uns, die Leistung unseres Algorithmus in 3D zu messen, anstatt in der Bildebene.