Estimación de Pose Humana 3D Basada en Difusión Desentangled con Denoiser Espacial y Temporal Jerárquico

Recientemente, los métodos basados en difusión para la estimación de pose humana 3D monocular han logrado un rendimiento de vanguardia (SOTA) al regredir directamente las coordenadas articulares 3D de la secuencia de pose 2D. Aunque algunos métodos descomponen la tarea en la predicción de la longitud y dirección de los huesos basados en el esqueleto anatómico humano para incorporar explícitamente más restricciones previas del cuerpo humano, el rendimiento de estos métodos es significativamente inferior al de los métodos basados en difusión SOTA. Esto se puede atribuir a la estructura arbórea del esqueleto humano. La aplicación directa del método desentangled podría amplificar la acumulación de errores jerárquicos, propagándose a través de cada jerarquía. Mientras tanto, la información jerárquica no ha sido completamente explorada por los métodos anteriores. Para abordar estos problemas, se propone un método de Estimación de Pose Humana 3D Basada en Difusión Desentangled con Denoiser Espacial y Temporal Jerárquico, denominado DDHPose. En nuestro enfoque: (1) Desentendemos la pose 3D y difusamos la longitud y dirección de los huesos durante el proceso directo del modelo de difusión para modelar eficazmente la previa de la pose humana. Se propone una pérdida de desentrelazamiento para supervisar el aprendizaje del modelo de difusión. (2) Para el proceso inverso, proponemos el Denoiser Espacial y Temporal Jerárquico (HSTDenoiser) para mejorar el modelado jerárquico de cada articulación. Nuestro HSTDenoiser comprende dos componentes: el Transformador Espacial Relacionado con la Jerarquía (HRST) y el Transformador Temporal Relacionado con la Jerarquía (HRTT). El HRST explota la información espacial de las articulaciones y la influencia de la articulación padre en cada articulación para el modelado espacial, mientras que el HRTT utiliza información tanto de la articulación como de sus articulaciones adyacentes jerárquicas para explorar las correlaciones temporales jerárquicas entre articulaciones.