G3FA: GAN guiado por geometria para Animação Facial

A animação de imagens faciais humanas visa sintetizar uma identidade de fonte desejada de uma maneira natural, imitando os movimentos faciais de um vídeo de referência. Nesse contexto, Redes Gerativas Adversariais demonstraram um potencial notável na reencenação facial em tempo real usando uma única imagem de fonte, embora sejam limitadas pela consistência geométrica em comparação com abordagens baseadas em gráficos. Neste artigo, introduzimos o GAN guiado por geometria para Animação Facial (G3FA) para enfrentar essa limitação. Nossa abordagem inovadora capacita o modelo de animação facial a incorporar informações 3D usando apenas imagens 2D, melhorando as capacidades de geração de imagem do modelo de síntese de cabeça falante. Integramos técnicas de renderização inversa para extrair propriedades de geometria facial 3D, melhorando o ciclo de feedback para o gerador por meio de uma média ponderada de discriminadores. Em nosso modelo de reencenação facial, aproveitamos a deformação de movimento 2D para capturar dinâmicas de movimento juntamente com amostragem de raios ortogonais e técnicas de renderização volumétrica para produzir a saída visual definitiva. Para avaliar o desempenho do nosso G3FA, realizamos experimentos abrangentes usando vários protocolos de avaliação nas benchmarks VoxCeleb2 e TalkingHead para demonstrar a eficácia da nossa estrutura proposta em comparação com os métodos de animação facial em tempo real de última geração.