SadTalker : Apprentissage de coefficients de mouvement 3D réalistes pour l'animation de visages parlants stylisés à partir d'audio.

Générer des vidéos de têtes parlantes à partir d'une image de visage et d'un morceau de son de la parole présente encore de nombreux défis. c'est-à-dire, des mouvements de tête non naturels, des expressions déformées et une modification d'identité. Nous soutenons que ces problèmes sont principalement causés par un apprentissage à partir des champs de mouvement 2D couplés. D'autre part, l'utilisation explicite d'informations 3D souffre également de problèmes d'expression rigide et de vidéos incohérentes. Nous présentons SadTalker, qui génère des coefficients de mouvement 3D (position de tête, expression) du 3DMM à partir de l'audio et module implicitement un nouveau rendu de visage conscient de la 3D pour la génération de têtes parlantes. Pour apprendre les coefficients de mouvement réalistes, nous modélisons explicitement les connexions entre l'audio et les différents types de coefficients de mouvement individuellement. Précisément, nous présentons ExpNet pour apprendre l'expression faciale précise à partir de l'audio en distillant à la fois les coefficients et les visages rendus en 3D. En ce qui concerne la position de la tête, nous concevons PoseVAE via un VAE conditionnel pour synthétiser le mouvement de tête dans différents styles. Enfin, les coefficients de mouvement 3D générés sont mappés à l'espace des points clés 3D non supervisés du rendu de visage proposé pour synthétiser la vidéo finale. Nous avons mené des expériences approfondies pour démontrer la supériorité de notre méthode en termes de mouvement et de qualité vidéo. 1 1 Le code et les vidéos de démonstration sont disponibles à https://sadtalker.github.io.