Combinar IMUs escasos y una cámara monocular es un nuevo entorno prometedor para realizar captura de movimiento humano en tiempo real. Este documento propone una solución basada en la difusión para aprender priors de movimiento humano y fusionar las dos modalidades de señales de manera fluida en un marco unificado. Al considerar delicadamente las características de las dos señales, la información visual secuencial se considera en su totalidad y se transforma en un embedding de condición, mientras que la medición inercial se concatena con el marco de pose corporal ruidoso cuadro por cuadro para construir una entrada secuencial para el modelo de difusión. En primer lugar, observamos que la información visual puede no estar disponible en algunos cuadros debido a oclusiones o a que los sujetos se mueven fuera de la vista de la cámara. Por lo tanto, incorporar las características visuales secuenciales en su totalidad para obtener un único embedding es robusto ante las degeneraciones ocasionales de la información visual en esos cuadros. Por otro lado, las mediciones de IMU son robustas a las oclusiones y siempre son estables cuando la transmisión de señales no presenta problemas. Así que incorporarlas cuadro por cuadro podría explorar mejor la información temporal para el sistema. Los experimentos han demostrado la efectividad del diseño del sistema y su rendimiento de vanguardia en estimación de pose en comparación con trabajos anteriores. El código será liberado.
Pan et al. (Wed,) estudiaron esta pregunta.