Aprendizaje e Predicción Híbrida de Hipergráficos Dirigidos de Posiciones Humanas Basadas en Esqueleto

La predicción de posiciones humanas en 3 dimensiones basadas en esqueleto a partir de la secuencia histórica es una tarea clásica, que muestra un enorme potencial en robótica, visión por computadora y gráficos. Actualmente, los métodos de última generación recurren a redes neuronales convolucionales de grafos (GCNs) para acceder a las relaciones de pares de articulaciones humanas para formular este problema. Sin embargo, la acción humana implica interacciones complejas entre múltiples articulaciones, lo que presenta una correlación de orden superior que supera la conexión par por par (2-orden) de las GCNs. Además, las articulaciones suelen ser activadas por la articulación padre, en lugar de impulsar sus articulaciones parentales, mientras que en los métodos existentes se ignora esta dirección específica de transmisión de información. En este trabajo, proponemos una nueva red de convolución de hipergráfico dirigida híbrida (H-DHGCN) para modelar las relaciones de orden alto del esqueleto humano con direccionalidad. Específicamente, nuestra H-DHGCN involucra principalmente 2 componentes centrales. Uno es el hipergráfico dirigido estático, que se define previamente según la estructura del cuerpo humano, para aprovechar efectivamente las relaciones naturales de las articulaciones humanas. El segundo es el hipergráfico dirigido dinámico (D-DHG). D-DHG es aprendible y se puede construir de manera adaptativa, para aprender las características únicas de la secuencia de movimiento. En contraste con las GCNs típicas, nuestro método ofrece una representación topológica más rica y refinada de los datos del esqueleto. En varios benchmarks a gran escala, los resultados experimentales muestran que el modelo propuesto supera consistentemente las técnicas más recientes.