Echtzeit nicht-rigide Rekonstruktion mit einer RGB-D-Kamera

Wir präsentieren eine kombinierte Hardware- und Softwarelösung zur markerlosen Rekonstruktion nicht-rigid deformierbarer physischer Objekte beliebiger Form in Echtzeit. Unser System verwendet eine einzige, eigenständige Stereo-Kameraeinheit, die aus handelsüblichen Komponenten und Verbraucher-Grafikhardware besteht, um spatio-temporal kohärente 3D-Modelle mit 30 Hz zu generieren. Ein neuer Stereo-Abgleichalgorithmus schätzt Echtzeit-RGB-D-Daten. Wir beginnen mit dem Scannen eines glatten Vorlagenmodells des Subjekts, während es sich starr bewegt. Diese geometrische Oberflächenprior vermeidet starke Szenenannahmen, wie ein kinematisches menschliches Skelett oder ein parametrisches Formmodell. Anschließend führt eine neuartige GPU-Pipeline eine nicht-rigid Registrierung der Live-RGB-D-Daten an die glatte Vorlage unter Verwendung eines erweiterten nichtlinearen as-rigid-as-possible (ARAP) Rahmens durch. Hochfrequente Details werden mithilfe eines linearen Deformationsmodells in das endgültige Mesh integriert. Das System ist um Größenordnungen schneller als die neuesten Methoden und erreicht gleichzeitig die Qualität und Robustheit vieler Offline-Algorithmen. Wir zeigen präzise Echtzeitrekonstruktionen verschiedener Szenen, einschließlich: großer Deformationen der Köpfe, Hände und Oberkörper der Benutzer; feinmaschiger Falten und Falten von Haut und Kleidung; und nicht-rigider Interaktionen, die von Benutzern an flexiblen Objekten wie Spielzeug durchgeführt werden. Wir demonstrieren, wie die erworbenen Modelle für viele interaktive Szenarien verwendet werden können, einschließlich Re-Texturing, Online-Performance-Capture und -Vorschau sowie Echtzeit-Shape- und Motion-Re-Targeting.