Vereint die Menschen: Den Kreislauf zwischen 3D- und 2D-Menschenrepräsentationen schließen

3D-Modelle bieten eine gemeinsame Grundlage für verschiedene Repräsentationen menschlicher Körper. Im Gegenzug hat sich die robuste 2D-Schätzung als leistungsfähiges Werkzeug zur Erfassung von 3D-Fits in der Wildnis erwiesen. Abhängig vom Detaillierungsgrad kann es jedoch schwierig bis unmöglich sein, beschriftete Daten im großen Maßstab zur Schulung von 2D-Schätzern zu erwerben. Wir schlagen einen hybriden Ansatz für dieses Problem vor: Mit einer erweiterten Version der kürzlich eingeführten SMPLify-Methode erhalten wir hochwertige 3D-Körpermodell-Fits für mehrere menschliche Posedatensätze. Menschliche Annotatoren sortieren ausschließlich gute und schlechte Fits. Dieses Verfahren führt zu einem anfänglichen Datensatz, UP-3D, mit reichen Annotationen. Mit einer umfassenden Reihe von Experimenten zeigen wir, wie diese Daten verwendet werden können, um diskriminative Modelle zu trainieren, die Ergebnisse mit einem beispiellosen Detailgrad liefern: Unsere Modelle sagen 31 Segmente und 91 Landmarkenpositionen am Körper voraus. Mit dem 91 Landmarken-Pose-Schätzer präsentieren wir Spitzenergebnisse für die 3D-Menschenpose und -formschätzung unter Verwendung von um Größenordnungen weniger Trainingsdaten und ohne Annahmen über Geschlecht oder Pose im Anpassungsverfahren. Wir zeigen, dass UP-3D mit diesen verbesserten Fits in Quantität und Qualität erweitert werden kann, was das System auf großem Maßstab einsetzbar macht. Die Daten, der Code und die Modelle sind für Forschungszwecke verfügbar.