Adquisición automática de actuaciones faciales de alta fidelidad utilizando videos monoculares

Este documento presenta un sistema de captura de actuaciones faciales que captura automáticamente actuaciones faciales de alta fidelidad utilizando videos monoculares no controlados (por ejemplo, videos de Internet). Comenzamos el proceso detectando y rastreando características faciales importantes como la punta de la nariz y las esquinas de la boca a lo largo de toda la secuencia y luego usamos las características faciales detectadas junto con modelos faciales multilineales para reconstruir poses de cabeza en 3D y deformaciones faciales a gran escala del sujeto en cada fotograma. Utilizamos señales de sombreado por píxel para agregar detalles de superficie a pequeña escala, como arrugas y pliegues que emergen o desaparecen, en la deformación facial a gran escala. En un paso final, iteramos nuestro procedimiento de reconstrucción sobre la geometría facial a gran escala y los detalles faciales a pequeña escala para mejorar aún más la precisión de la reconstrucción facial. Hemos probado nuestro sistema en videos monoculares descargados de Internet, demostrando su precisión y robustez bajo una variedad de condiciones de iluminación no controladas y superando diferencias de forma significativas entre individuos. Mostramos que nuestro sistema avanza el estado del arte en la captura de actuaciones faciales al compararlo con métodos alternativos.