Estimación de Pose Humana 3D Basada en IMUs Portátiles y Múltiples Vistas de Cámara

El problema de la estimación de pose humana 3D (HPE) ha sido el foco de la investigación en los últimos años, sin embargo, la estimación precisa sigue siendo un desafío poco explorado. En este documento, se combinan los méritos de las imágenes multivista y los IMUs portátiles para mejorar el proceso de HPE 3D. Nos basamos en una línea de base de última generación mientras introducimos tres novedades. Inicialmente, mejoramos la precisión de la localización de puntos clave sustituyendo los núcleos gaussianos por núcleos laplacianos en la generación de mapas de calor objetivo. En segundo lugar, incorporamos una red regularizada por orientación (ORN), que mejora la fusión de mapas de calor cruzados al tomar un promedio ponderado de los valores mejor puntuados en lugar de depender únicamente del valor máximo. Esto no solo mejora la robustez ante valores atípicos, sino que también conduce a una mayor precisión en la estimación de la pose. Por último, modificamos la restricción de longitud de las extremidades en el modelo pictórico convencional regularizado por orientación (ORPSM) para mejorar la estimación de las posiciones de las articulaciones. Específicamente, proponemos un término binario de codificación suave para la restricción de longitud de las extremidades, imponiendo así una penalización flexible y suavizada y reduciendo la sensibilidad a los hiperparámetros. Los resultados experimentales utilizando el conjunto de datos TotalCapture revelan una mejora significativa, con un aumento del 10.3% en la precisión PCKh en el umbral de un doceavo y una reducción de 3.9 mm en el error MPJPE en comparación con la línea de base.