FaceVR

Wir schlagen FaceVR vor, eine neuartige, bildbasierte Methode, die Videotelefonie in VR auf der Grundlage von Selbst-Reenactment ermöglicht. State-of-the-Art-Gesichtserkennungsmethoden im VR-Kontext konzentrieren sich auf die Animation von riggierten 3D-Avataren (Li et al. 2015; Olszewski et al. 2016). Obwohl sie eine gute Tracking-Leistung erzielen, wirken die Ergebnisse cartoonhaft und nicht realistisch. Im Gegensatz zu diesen modellbasierten Ansätzen ermöglicht FaceVR die VR-Telefonie mit einer bildbasierten Technik, die nahezu fotorealistische Ergebnisse liefert. Der Schlüsselkomponente von FaceVR ist ein robuster Algorithmus zur Durchführung von Echtzeit-Gesichtsbewegungserfassung eines Schauspielers, der ein Head-Mounted Display (HMD) trägt, sowie ein neuer datengestützter Ansatz zur Augenverfolgung aus monokularen Videos. Basierend auf dem Reenactment eines vorgeregis-trierten Stereo-Videos der Person ohne HMD integriert FaceVR fotorealistische Neu-Rendering in Echtzeit, wodurch künstliche Veränderungen von Gesicht und Augenerscheinungen möglich sind. Zum Beispiel können wir Gesichtsausdrücke verändern oder Blickrichtungen im vorgeregis-trierten Zielvideo ändern. In einem Live-Setup wenden wir diese neu eingeführten algorithmischen Komponenten an.