XHand: Avatar de Mão Expressivo em Tempo Real

Avatares de mão desempenham um papel fundamental em uma ampla gama de interfaces digitais, aumentando a imersão do usuário e facilitando a interação natural em ambientes virtuais. Embora estudos anteriores tenham se concentrado na renderização de mãos foto-realistas, pouca atenção foi dada à reconstrução da geometria das mãos com detalhes finos, o que é essencial para a qualidade da renderização. Nos domínios da realidade aumentada e dos jogos, a renderização em tempo real se torna imperativa. Para isso, apresentamos um avatar de mão expressivo, chamado XHand, que foi projetado para gerar de forma abrangente a forma, a aparência e as deformações da mão em tempo real. Para obter malhas de mão detalhadas, utilizamos três módulos de incorporação de características para prever deslocamentos de deformação da mão, albedo e pesos de skinning com mistura linear, respectivamente. Para alcançar uma renderização de mão foto-realista em malhas detalhadas, nosso método emprega um renderizador neural baseado em malha, aproveitando a consistência topológica das malhas e os códigos latentes dos módulos de incorporação. Durante o treinamento, uma estratégia de suavização Laplace ciente de partes é proposta, incorporando os diferentes níveis de regularização para manter efetivamente os detalhes necessários e eliminar os artefatos indesejados. As avaliações experimentais nos conjuntos de dados InterHand2.6M e DeepHandMesh demonstram a eficácia do XHand, que é capaz de recuperar geometria e textura de alta fidelidade para animações de mão em diversas poses em tempo real. Para reproduzir nossos resultados, disponibilizaremos a implementação completa publicamente em https://github.com/agnJason/XHand.