Síntesis de rendimiento facial utilizando mapas de desplazamiento polinómicos impulsados por deformación

Presentamos un método novedoso para la adquisición, modelado, compresión y síntesis de deformaciones faciales realistas utilizando mapas de desplazamiento polinómicos. Nuestro método consta de una fase de análisis donde se infiere la relación entre los marcadores de captura de movimiento y la geometría facial detallada, y una fase de síntesis donde la nueva geometría facial animada detallada se genera únicamente a partir de un conjunto disperso de marcadores de captura de movimiento. Para el análisis, registramos al actor usando marcadores faciales mientras realiza un conjunto de clips de expresión de entrenamiento. Capturamos deformaciones faciales en tiempo real de alta resolución, incluyendo detalles dinámicos de arrugas y poros, utilizando escaneo 3D con luz estructurada entrelazada y estéreo fotométrico. A continuación, computamos los desplazamientos entre una malla neutral impulsada por los marcadores de captura de movimiento y las expresiones capturadas de alta resolución. Estos desplazamientos geométricos se almacenan en un mapa de desplazamiento polinómico que se parametriza de acuerdo con las deformaciones locales de los puntos de captura de movimiento. Para la síntesis, impulsamos el mapa de desplazamiento polinómico con nuevos datos de captura de movimiento. Esto permite la recreación de deformaciones musculares a gran escala, arrugas medianas y finas, y detalles dinámicos de poros en la piel. Las aplicaciones incluyen la compresión de datos de rendimiento existentes y la síntesis de nuevas actuaciones. Nuestra técnica es independiente del sistema de captura de geometría subyacente y puede utilizarse para generar automáticamente detalles de arrugas y poros de alta frecuencia sobre muchos sistemas de animación facial existentes.