GaussianAvatar: Rumo à Modelagem Realista de Avatares Humanos a partir de um Único Vídeo via Gaussianos 3D Animáveis

Apresentamos o GaussianAvatar, uma abordagem eficiente para criar avatares humanos realistas com aparências 3D dinâmicas a partir de um único vídeo. Começamos introduzindo gaussianos 3D animáveis para representar explicitamente humanos em várias poses e estilos de vestuário. Essa representação explícita e animável pode fundir aparências 3D de forma mais eficiente e consistente a partir de observações 2D. Nossa representação é ainda aumentada com propriedades dinâmicas para suportar a modelagem de aparência dependente da pose, onde uma rede de aparência dinâmica juntamente com um tensor de características otimizado é projetada para aprender o mapeamento de movimento para aparência. Além disso, ao aproveitar a condição de movimento diferenciável, nosso método permite uma otimização conjunta de movimentos e aparências durante a modelagem de avatares, o que ajuda a enfrentar o problema há muito existente da estimativa de movimento imprecisa em configurações monoculares. A eficácia do GaussianAvatar é validada tanto no conjunto de dados público quanto no conjunto de dados que coletamos, demonstrando seu desempenho superior em termos de qualidade de aparência e eficiência de renderização. O código e o conjunto de dados estão disponíveis em https://github.com/aipixel/GaussianAvatar.