Animación facial en tiempo real con correcciones en el vuelo

Introducimos un marco de captura de rendimiento facial en tiempo real y sin calibración basado en un sensor con entrada de video y profundidad. En este marco, desarrollamos un modelo PCA adaptativo utilizando correcciones de forma que se ajustan en el vuelo a las expresiones del actor a través del aprendizaje incremental basado en PCA. Dado que el ajuste del modelo adaptativo mejora progresivamente durante la actuación, no requerimos una sesión de captura o entrenamiento adicional para construir este modelo. Como resultado, el sistema es altamente desplegable y fácil de usar: puede rastrear fielmente a cualquier individuo, comenzando desde solo un escaneo facial del sujeto en una pose neutral. Al igual que muchos métodos en tiempo real, utilizamos un subespacio lineal para hacer frente a datos de entrada incompletos y movimientos rápidos. Para impulsar el entrenamiento de nuestro modelo de seguimiento con muestras confiables, utilizamos un rastreador de características faciales 2D bien entrenado en el video de entrada y un algoritmo eficiente de deformación de mallas para ajustar el resultado del paso anterior a detalles de alta frecuencia en regiones del mapa de profundidad visibles. Demostramos que la combinación de mapas de profundidad densos y características de textura alrededor de los ojos y labios es esencial para capturar diálogos naturales y emociones matizadas específicas de los actores. Mostramos que el uso de un modelo PCA adaptativo no solo mejora la precisión de ajuste para el seguimiento, sino que también aumenta la expresividad del personaje redirigido.