RODIN: Ein generatives Modell zum Sculpting von 3D digitalen Avataren mit Diffusion

Dieses Papier präsentiert ein 3D-Diffusionsmodell, das automatisch 3D digitale Avatare generiert, die als neuronale Radianzfelder (NeRFs) dargestellt werden. Eine wesentliche Herausforderung für die 3D-Diffusion sind die speicher- und verarbeitungstechnischen Kosten, die prohibitiv sind, um hochwertige Ergebnisse mit reichhaltigen Details zu erzeugen. Um dieses Problem zu bewältigen, schlagen wir das Roll-Out-Diffusionsnetzwerk (RODIN) vor, das ein 3D-NeRF-Modell, das als mehrere 2D-Feature-Maps dargestellt wird, auf eine einzelne 2D-Feature-Ebene ausrollt, innerhalb derer wir 3D-bewusste Diffusion durchführen. Das RODIN-Modell bringt die dringend benötigte Rechenleistung, während die Integrität der 3D-Diffusion durch die Verwendung von 3D-bewusster Konvolution gewahrt bleibt, die auf projektierte Merkmale in der 2D-Ebene entsprechend ihrer ursprünglichen Beziehungen in 3D achtet. Wir verwenden auch latente Bedingung, um die Merkmalsgenerierung mit globaler Kohärenz zu orchestrieren, was zu hochqualitativen Avataren führt und semantisches Bearbeiten basierend auf Texteingaben ermöglicht. Schließlich verwenden wir hierarchische Synthese, um die Details weiter zu verbessern. Die von unserem Modell generierten 3D-Avatare schneiden im Vergleich zu bestehenden Techniken gut ab. Wir können hochdetaillierte Avatare mit realistischen Frisuren und Gesichtsbehaarung generieren. Wir demonstrieren auch die 3D-Avatar-Generierung aus Bildern oder Text sowie textgeführte Bearbeitbarkeit. © 2023 IEEE.