Máquinas de Secuencias de Pose 3D Recurrentes

La recuperación de la pose humana articulada en 3D a partir de secuencias de imágenes monoculares es un desafío muy grande debido a las diversas apariencias, puntos de vista, oclusiones, y también la pose 3D humana es inherentemente ambigua a partir de la imagen monocular. Por lo tanto, es fundamental aprovechar las ricas dependencias espaciales y temporales de largo alcance entre las articulaciones del cuerpo para una predicción precisa de secuencias de pose 3D. Los enfoques existentes suelen diseñar manualmente algunos términos de prioridad elaborados y restricciones cinemáticas del cuerpo humano para capturar estructuras, que a menudo son insuficientes para explotar todas las estructuras intrínsecas y no son escalables para todos los escenarios. En contraste, este artículo presenta una Máquina de Secuencias de Pose 3D Recurrentes (RPSM) para aprender automáticamente la restricción estructural dependiente de la imagen y el contexto temporal dependiente de la secuencia utilizando un refinamiento secuencial en múltiples etapas. En cada etapa, nuestra RPSM se compone de tres módulos para predecir las secuencias de poses 3D basadas en las representaciones de pose 2D y poses 3D previamente aprendidas: (i) un módulo de pose 2D que extrae las representaciones de pose dependientes de la imagen, (ii) un módulo recurrente de pose 3D que regresa las poses 3D, y (iii) un módulo de adaptación de características que sirve como un puente entre el módulo (i) y el (ii) para permitir la transformación de representación del dominio 2D al 3D. Estos tres módulos se ensamblan entonces en un marco de predicción secuencial para refinar las poses predichas con múltiples etapas recurrentes. Evaluaciones extensas en el conjunto de datos Human3.6M y el conjunto de datos HumanEva-I muestran que nuestra RPSM supera a todos los enfoques de vanguardia en la estimación de pose 3D.