SG-GS : Avatars humains animables photo-réalistes avec splatting gaussien guidé par la sémantique

Reconstituer des avatars humains animables photo-réalistes à partir de vidéos monoculaires reste un défi en vision par ordinateur et en graphisme. Récemment, des méthodes utilisant des Gaussiens 3D pour représenter le corps humain ont émergé, offrant une optimisation plus rapide et un rendu en temps réel. Cependant, en ignorant le rôle crucial de l'information sémantique du corps humain, qui représente la structure intrisèque et les connexions au sein du corps humain, elles échouent à réaliser une reconstruction de détail fin des avatars humains dynamiques. Pour résoudre ce problème, nous proposons SG-GS, qui utilise des Gaussiens 3D intégrés dans la sémantique, une déformation rigide pilotée par un squelette et une déformation dynamique des vêtements non rigides pour créer des avatars humains animables photo-réalistes à partir de vidéos monoculaires. Nous concevons ensuite un Annotateur de Corps Humain Sémantique (SHA) qui utilise le prior sémantique de SMPL pour un étiquetage sémantique efficace des parties du corps. Les étiquettes générées sont utilisées pour guider l'optimisation des attributs sémantiques gaussiens. Pour remédier au champ réceptif limité des MLPs à niveau de point pour les caractéristiques locales, nous proposons également un réseau 3D qui intègre des associations géométriques et sémantiques pour la déformation des avatars humains. Nous mettons également en œuvre trois stratégies clés pour améliorer l'exactitude sémantique des Gaussiens 3D et la qualité de rendu : la projection sémantique avec régularisation 2D, la régularisation de densité guidée par la sémantique et la régularisation consciente de la sémantique avec cohérence de voisinage. De nombreuses expériences montrent que SG-GS atteint des performances de reconstruction de la géométrie et de l'apparence à la pointe de la technologie.