Capture de mouvement humain en extérieur à l'aide de cinématique inversée et d'échantillonnage von Mises-Fisher

La capture de mouvement humain (HMC) à partir de séquences d'images multivues est un problème extrêmement difficile en raison des ambiguïtés de profondeur et d'orientation ainsi que de la haute dimensionnalité de l'espace d'état. Dans cet article, nous introduisons un nouveau système hybride de HMC qui combine l'entrée vidéo avec une entrée de capteurs inertiels rares. En employant un schéma d'optimisation basé sur des particules par recuit, notre idée est d'utiliser des indices d'orientation dérivés de l'entrée inertielle pour échantillonner des particules à partir de la variété des poses valides. Ensuite, des indices visuels dérivés de l'entrée vidéo sont utilisés pour pondérer ces particules et pour dériver itérativement la pose finale. Comme notre principale contribution, nous proposons une procédure d'échantillonnage efficace où les particules sont dérivées analytiquement à l'aide de la cinématique inversée sur les indices d'orientation. De plus, nous introduisons un nouveau modèle de bruit de capteur pour tenir compte des incertitudes basées sur la distribution von Mises-Fisher. Ce faisant, les contraintes d'orientation sont naturellement respectées et le nombre de particules nécessaires peut être maintenu très faible. Plus généralement, notre méthode peut être utilisée pour échantillonner des poses qui remplissent des contraintes cinématiques d'orientation ou de position arbitraires. Dans les expériences, nous montrons que notre système peut suivre même des mouvements hautement dynamiques dans un environnement extérieur avec une illumination changeante, un désordre en arrière-plan et des ombres.