MoManifold : Apprendre à mesurer le mouvement humain 3D via des variétés d'accélération articulaire découplées

Incorporer efficacement l'information temporelle est important pour une estimation et une génération précises du mouvement humain 3D, qui ont de nombreuses applications allant de l'interaction homme-machine à la réalité augmentée/virtuelle. Dans cet article, nous présentons MoManifold, un nouvel antécédent de mouvement humain, qui modélise un mouvement humain plausible dans un espace de mouvement continu à haute dimension. Différent des méthodes mathématiques existantes ou basées sur les VAE, notre représentation est conçue sur la base du champ de distance neuronal, ce qui quantifie explicitement la dynamique humaine à un score et peut donc mesurer la plausibilité du mouvement humain. Plus précisément, nous proposons de nouvelles variétés d'accélération articulaire découplées pour modéliser la dynamique humaine à partir de données de mouvement limitées existantes. De plus, nous introduisons une nouvelle méthode d'optimisation utilisant la distance de la variété comme guide, ce qui facilite une variété de tâches liées au mouvement. Des expériences approfondies démontrent que MoManifold surpasse les SOTA existants en tant qu'antécédent dans plusieurs tâches en aval telles que le débruitage des données de capture de mouvement humain réel, la récupération du mouvement humain à partir d'observations 3D partielles, l'atténuation des tremblements pour les estimateurs de pose basés sur SMPL, et le raffinement des résultats de l'interpolation du mouvement.