Captura e Animação do Corpo e Roupas a partir de Vídeo Monocular

Embora trabalhos recentes tenham mostrado progresso na extração de avatares humanos 3D vestidos a partir de uma única imagem, vídeo, ou um conjunto de digitalizações 3D, várias limitações permanecem. A maioria dos métodos utiliza uma representação holística para modelar conjuntamente o corpo e as roupas, o que significa que as roupas e o corpo não podem ser separados para aplicações como provador virtual. Outros métodos modelam separadamente o corpo e as roupas, mas requerem treinamento a partir de um grande conjunto de malhas humanas vestidas obtidas de digitalizadores 3D/4D ou simulações físicas. Nossa percepção é que o corpo e as roupas têm requisitos de modelagem diferentes. Enquanto o corpo é bem representado por um modelo 3D paramétrico baseado em malha, representações implícitas e campos de radiança neural são mais adequados para capturar a grande variedade na forma e aparência presentes nas roupas. Com base nessa percepção, propomos o SCARF (Campo de Radiança de Avatar Vestido Segmentado), um modelo híbrido que combina um corpo baseado em malha com um campo de radiança neural. Integrar a malha na renderização volumétrica em combinação com um rasterizador diferenciável nos permite otimizar o SCARF diretamente a partir de vídeos monoculares, sem qualquer supervisão 3D. A modelagem híbrida permite que o SCARF (i) anime o avatar do corpo vestido alterando posturas corporais (incluindo articulação das mãos e expressões faciais), (ii) sintetize novas vistas do avatar, e (iii) transfira roupas entre avatares em aplicações de provador virtual. Demonstramos que o SCARF reconstrói roupas com qualidade visual superior a métodos existentes, que as roupas se deformam com a alteração da postura corporal e forma do corpo, e que as roupas podem ser transferidas com sucesso entre avatares de diferentes sujeitos. O código e os modelos estão disponíveis em https://github.com/YadiraF/SCARF.