AvatarReX: Avatares completos expresivos en tiempo real

Presentamos AvatarReX, un nuevo método para aprender avatares completos basados en NeRF a partir de datos de video. El avatar aprendido no solo proporciona control expresivo del cuerpo, las manos y la cara juntos, sino que también admite animación y renderizado en tiempo real. Para este fin, proponemos una representación compuesta del avatar, donde el cuerpo, las manos y la cara se modelan por separado de manera que el conocimiento estructural de plantillas de malla paramétricas se utilice adecuadamente sin comprometer la flexibilidad de la representación. Además, separamos la geometría y la apariencia de cada parte. Con estos diseños técnicos, proponemos una pipeline de renderizado diferido dedicada, que puede ejecutarse a una tasa de cuadros en tiempo real para sintetizar imágenes de alta calidad de vista libre. La separación de geometría y apariencia también nos permite diseñar una estrategia de entrenamiento de dos pasadas que combina renderizado de volumen y renderizado de superficie para el entrenamiento de la red. De esta manera, se puede aplicar supervisión a nivel de parche para forzar a la red a aprender detalles de apariencia nítidos sobre la base de la estimación de geometría. En general, nuestro método permite la construcción automática de avatares completos expresivos con capacidad de renderizado en tiempo real y puede generar imágenes fotorrealistas con detalles dinámicos para nuevos movimientos corporales y expresiones faciales.