Aprendizaje de Dinámica No Lineal de Tejidos Blandos para Avatares Interactivos

Presentamos un nuevo método para enriquecer los modelos de cuerpo humano basados en vértices existentes añadiendo dinámica de tejidos blandos. Nuestro modelo aprende a predecir desplazamientos 3D por vértice, conocidos como formas de mezcla dinámica, que reproducen efectos de deformación no lineales de la malla en función de la información de la pose. Esto permite la síntesis de animaciones de mallas 3D realistas, incluyendo efectos de tejidos blandos, utilizando solo el movimiento esquelético. En el núcleo de nuestro método hay un regresor de red neuronal entrenado con escaneos 4D de alta calidad de los cuales extraemos información de pose, forma y tejidos blandos. Nuestro regresor utiliza un nuevo subespacio no lineal, que construimos usando un autoencoder, para compactar de manera eficiente la información de dinámica de tejidos blandos. Una vez entrenado, nuestro método puede integrarse a métodos de skinning basados en vértices existentes con poco sobrecarga computacional (<10ms), lo que permite dinámicas no lineales en tiempo real. Evaluamos cualitativa y cuantitativamente nuestro método, y mostramos animaciones atractivas con efectos de tejidos blandos, creadas utilizando conjuntos de datos de captura de movimiento disponibles públicamente.