3DFaceShop: Generación de retratos 3D controlable explícitamente

En contraste con el pipeline tradicional de creación de avatares, que es un proceso costoso, los enfoques generativos contemporáneos aprenden directamente la distribución de datos a partir de fotografías. Aunque muchos trabajos amplían modelos generativos incondicionales y alcanzan ciertos niveles de controlabilidad, todavía es un desafío garantizar la consistencia de múltiples vistas, especialmente en grandes poses. En este trabajo, proponemos una red que genera retratos conscientes de 3D mientras es controlable según parámetros semánticos relacionados con pose, identidad, expresión e iluminación. Nuestra red utiliza representación neural de escena para modelar retratos conscientes de 3D, cuya generación es guiada por un modelo facial paramétrico que soporta control explícito. Mientras que el desacoplamiento latente puede ser mejorado contrastando imágenes con atributos parcialmente diferentes, aún existe una inconsistencia notable en áreas no faciales al animar expresiones. Solucionamos esto proponiendo una estrategia de mezcla de volumen en la que formamos una salida compuesta al mezclar áreas dinámicas y estáticas, con dos partes segmentadas del campo semántico aprendido conjuntamente. Nuestro método supera a los anteriores en experimentos extensivos, produciendo retratos realistas con expresiones vívidas en iluminación natural cuando se ven desde puntos de vista libres. También demuestra capacidad de generalización a imágenes reales así como a datos fuera de dominio, mostrando una gran promesa en aplicaciones reales.