Referenzbasierte kontrollierbare Szenenstilisation mit Gaussian Splatting

Die referenzbasierte Szenenstilisation, die das Erscheinungsbild basierend auf einem inhaltsausgerichteten Referenzbild bearbeitet, ist ein aufstrebendes Forschungsgebiet. Begonnen mit einem vortrainierten neuralen Strahlungsfeld (NeRF) lernen bestehende Methoden typischerweise ein neues Erscheinungsbild, das dem gegebenen Stil entspricht. Trotz ihrer Effektivität leiden sie inherent unter zeitaufwendigem Volumengerendering und sind daher für viele Echtzeitanwendungen unpraktisch. In dieser Arbeit schlagen wir ReGS vor, das 3D Gaussian Splatting (3DGS) für die referenzbasierte Stilisation anpasst, um die Echtzeit-Stilisierung von Ansichten zu ermöglichen. Das Bearbeiten des Erscheinungsbilds eines vortrainierten 3DGS ist herausfordernd, da es diskrete Gausschen als 3D-Darstellung verwendet, die das Erscheinungsbild eng mit der Geometrie verbinden. Das einfache Optimieren des Erscheinungsbilds wie in vorherigen Methoden ist oft unzureichend, um kontinuierliche Texturen im gegebenen Referenzbild zu modellieren. Um diese Herausforderung anzugehen, schlagen wir einen neuartigen texturgestützten Steuerungsmechanismus vor, der lokale verantwortliche Gausschen adaptiv an eine neue geometrische Anordnung anpasst, um die gewünschten Texturdetails zu erreichen. Der vorgeschlagene Prozess wird durch TextHinweise für effektive Erscheinungsbildbearbeitung geleitet und durch die Szenentiefe reguliert, um die ursprüngliche geometrische Struktur zu bewahren. Mit diesen neuartigen Designs zeigen wir, dass ReGs state-of-the-art Stilisationsergebnisse produzieren kann, die die Referenztextur respektieren und gleichzeitig die Echtzeit-Rendergeschwindigkeit für die Navigation in freier Sicht ermöglichen.