Platypose: Estimación de Movimiento Humano 3D Calibrada de Múltiples Hipótesis en Cero Tiros

La estimación de pose 3D con una sola cámara es un problema mal definido debido a las ambigüedades inherentes de la profundidad, la oclusión o el ruido en los puntos clave. La estimación de pose de múltiples hipótesis tiene en cuenta esta incertidumbre al proporcionar múltiples poses 3D consistentes con las mediciones 2D. La investigación actual se ha concentrado predominantemente en generar múltiples hipótesis para la estimación de pose estática en un solo cuadro. En este estudio, nos enfocamos en la nueva tarea de estimación de movimiento de múltiples hipótesis. La estimación de movimiento no es simplemente la estimación de pose aplicada a múltiples cuadros, ya que esto ignoraría la correlación temporal entre cuadros. En su lugar, requiere distribuciones capaces de generar muestras temporalmente consistentes, lo que es significativamente más desafiante. Para ello, introducimos Platypose, un marco que utiliza un modelo de difusión preentrenado en secuencias de movimiento humano 3D para la estimación de secuencias de pose 3D en cero tiros. Platypose supera a los métodos de referencia en múltiples hipótesis para la estimación de movimiento. Además, Platypose también logra una calibración de vanguardia y un error conjunto competitivo cuando se prueba en poses estáticas de Human3.6M, MPI-INF-3DHP y 3DPW. Finalmente, debido a que es en cero tiros, nuestro método se generaliza de forma flexible a diferentes configuraciones, como la inferencia en múltiples cámaras.