Pose-NDF: Modellierung menschlicher Pose-Manifolds mit neuronalen Distanzfeldern

Wir stellen Pose-NDF vor, ein kontinuierliches Modell für plausible menschliche Posen, basierend auf neuronalen Distanzfeldern (NDFs). Pose- oder Bewegungsvorwissen sind wichtig, um realistische neue Posen zu generieren und um genaue Posen aus rauschigen oder teilweisen Beobachtungen zu rekonstruieren. Pose-NDF lernt ein Mannigfaltigkeit plausibler Posen als Nullniveau-Set einer neuronalen impliziten Funktion und erweitert die Idee, implizite Oberflächen in 3D zu modellieren, auf den hochdimensionalen Bereich SO (3) K, wobei eine menschliche Pose durch einen einzelnen Datenpunkt definiert ist, der durch K Quaternionen dargestellt wird. Die resultierende hochdimensionale implizite Funktion kann hinsichtlich der Eingabeposen differenziert werden und kann somit verwendet werden, um beliebige Posen durch Gradientensenkung auf die Mannigfaltigkeit zu projizieren, wobei das Set von 3-dimensionalen Hypersphären verwendet wird. Im Gegensatz zu früheren VAE-basierten menschlichen Pose-Vorlieben, die den Pose-Raum in eine zentrale Verteilung transformieren, modellieren wir die tatsächliche Pose-Mannigfaltigkeit und bewahren die Abstände zwischen den Posen. Wir zeigen, dass Pose-NDF bestehende Methoden der Spitzenklasse als Vorwissen in verschiedenen nachgelagerten Aufgaben übertrifft, von der Entrauschung realer menschlicher Bewegungsdaten, der Pose-Rekonstruktion aus verdeckten Daten bis hin zur 3D-Pose-Rekonstruktion aus Bildern. Darüber hinaus zeigen wir, dass es verwendet werden kann, um durch zufälliges Sampling und Projektion vielfältigere Posen zu generieren als VAE-basierte Methoden.