SCANimate: Aprendizado Fraamente Supervisionado de Redes de Avatares Vestidos com Pele

Apresentamos o SCANimate, uma estrutura treinável de ponta a ponta que utiliza digitalizações 3D brutas de um humano vestido e as transforma em um avatar animável. Esses avatares são controlados por parâmetros de pose e possuem roupas realistas que se movem e se deformam de maneira natural. O SCANimate não depende de um modelo de malha personalizado ou registro de malha de superfície. Observamos que ajustar um modelo de corpo 3D paramétrico, como o SMPL, a uma digitalização de humano vestido é viável, enquanto o registro de superfície da topologia do corpo à digitalização muitas vezes não é, pois as roupas podem se desviar significativamente da forma do corpo. Também observamos que as transformações articuladas são invertíveis, resultando em consistência geométrica de ciclo nas formas postadas e não postadas. Essas observações nos levam a um método de aprendizado fraco supervisionado que alinha digitalizações em uma pose canônica, desfazendo deformações articuladas sem registro de superfície baseado em template. Além disso, para completar regiões ausentes nas digitalizações alinhadas enquanto modelamos deformações dependentes de pose, introduzimos uma função implícita localmente ciente da pose que aprende a completar e modelar geometria com correções de pose aprendidas. Em contraste com embeddings de pose globais comumente usados, nossa condicionamento de pose local reduz significativamente correlações espúrias de longo alcance e melhora a generalização para poses não vistas, especialmente quando os dados de treinamento são limitados. Nosso método pode ser aplicado à modelagem de aparência ciente da pose para gerar um avatar totalmente texturizado. Demonstraremos nossa abordagem em vários tipos de roupas com diferentes quantidades de dados de treinamento, superando soluções existentes e outras variantes em termos de fidelidade e generalidade em todos os ambientes. O código está disponível em https://scanimate.is.tue.mpg.de.