Gemeinsames Lernen von Top-Down- und Bottom-Up-Prozessen für die 3D-Visualisierung

Wir präsentieren einen Algorithmus zum gemeinsamen Lernen eines konsistenten bidirektionalen generativen-rekognitiven Modells, das Top-Down- und Bottom-Up-Verarbeitung für die monokulare 3D-Rekonstruktion menschlicher Bewegungen kombiniert. Das Lernen erfolgt in alternierenden Phasen des Selbsttrainings, die die Wahrscheinlichkeit der Bildbeweise optimieren: Das Erkennungsmodell wird mit Proben aus dem generativen Modell angepasst, und das generative Modell wird optimiert, um Inferenzen zu erzeugen, die den durch das aktuelle Erkennungsmodell vorhergesagten ähnlich sind. Im Gleichgewicht sind die beiden Modelle konsistent. Während der Online-Inferenz scannen wir das Bild an mehreren Standorten und sagen 3D-Menschhaltungen unter Verwendung des Erkennungsmodells voraus. Dies beinhaltet jedoch implizit ein einmaliges generatives Konsistenz-Feedback. Der Rahmen bietet eine einheitliche Behandlung der menschlichen Erkennung, der 3D-Initialisierung und der 3D-Wiederherstellung nach vorübergehenden Ausfällen. Unsere experimentellen Ergebnisse zeigen, dass dieses Verfahren vielversprechend für die automatische Rekonstruktion menschlicher Bewegungen in natürlicheren Szeneneinstellungen mit Hintergrundgeräuschen und Verdeckungen ist.