StylizedGS: Kontrollierte Stylerstellung für 3D-Gaussian Splatting

Mit der rasanten Entwicklung von XR wird die 3D-Generierung und -Bearbeitung immer wichtiger, wobei die Stilisation ein wichtiges Werkzeug zur 3D-Erscheinungsbearbeitung ist. Sie kann eine konsistente 3D-künstlerische Stylisation basierend auf einem einzelnen Referenzstilbild erreichen und ist somit ein benutzerfreundlicher Bearbeitungsansatz. Allerdings stehen aktuelle, auf NeRF basierende 3D-Stilisierungsmethoden vor Effizienzproblemen, die die tatsächliche Benutzererfahrung beeinflussen, und die implizite Natur schränkt ihre Fähigkeit ein, geometrische Musterstile zu übertragen. Darüber hinaus wird die Fähigkeit von Künstlern, flexible Kontrolle über stilisierte Szenen auszuüben, als sehr wünschenswert angesehen, da sie ein Umfeld fördert, das kreative Erkundungen begünstigt. In diesem Papier stellen wir StylizedGS vor, ein 3D-neurales Stiltransfer-Framework mit anpassbarer Kontrolle über perceptuelle Faktoren basierend auf der 3D-Gaussian-Splatting (3DGS)-Darstellung. Die 3DGS bringt die Vorteile hoher Effizienz mit sich. Wir schlagen einen GS-Filter vor, um Floaters in der Rekonstruktion zu eliminieren, die die Stilisierungseffekte vor der Stilisierung beeinflussen. Dann wird ein stilverlustbasierter Nächstnachbaransatz eingeführt, um die Stilisierung durch Feinabstimmung der Geometrie- und Farbparameter von 3DGS zu erreichen, während ein Tiefenerhaltungsverlust mit anderen Regularisierungen vorgeschlagen wird, um das Verändern des geometrischen Inhalts zu verhindern. Darüber hinaus ermöglicht StylizedGS, unterstützt durch speziell entworfene Verluste, den Benutzern die Kontrolle über Farbe, stilisierte Größe und Regionen während der Stilisierung, um maßgeschneiderte Fähigkeiten zu besitzen. Unsere Methode kann hochwertige Stilisierungsergebnisse erreichen, die durch treue Pinselstriche und geometrische Konsistenz mit flexiblen Kontrollen gekennzeichnet sind. Umfangreiche Experimente in verschiedenen Szenen und Stilen demonstrieren die Wirksamkeit und Effizienz unserer Methode sowohl hinsichtlich der Stilisierungsqualität als auch der Inferenz-FPS.