Selbst-augmentiertes Gaussian Splatting mit strukturbewussten Masken für sparse-view 3D-Rekonstruktion

Sparse-view 3D-Rekonstruktion stellt eine erhebliche Herausforderung in der Computer Vision dar, mit dem Ziel, vollständige dreidimensionale Modelle aus einer begrenzten Anzahl von Sichtperspektiven zu erstellen. Diese Aufgabe konfrontiert mit mehreren Schwierigkeiten: 1) die begrenzte Anzahl an Eingabebildern, die konsistente Informationen vermissen lassen; 2) Abhängigkeit von der Qualität der Eingabebilder; und 3) die beträchtliche Größe der Modellparameter. Um diese Herausforderungen anzugehen, schlagen wir ein selbst-augmentiertes grob-zu-fein Gaussian Splatting Paradigma vor, das mit einer strukturbewussten Maske verbessert wurde, für die sparse-view 3D-Rekonstruktion. Insbesondere verwendet unsere Methode zunächst ein grobes Gaussian-Modell, um eine grundlegende 3D-Darstellung aus den Sparse-View-Eingaben zu erhalten. Anschließend entwickeln wir ein feines Gaussian-Netzwerk, um die konsistente und detaillierte Darstellung des Outputs sowohl mit 3D-Geometrie-Augmentation als auch mit Wahrnehmungs-View-Augmentation zu verbessern. Während des Trainings entwerfen wir eine strukturbewusste Maskierungsstrategie, um die Robustheit des Modells gegenüber sparsamen Eingaben und Rauschen weiter zu verbessern. Experimentelle Ergebnisse auf den MipNeRF360- und OmniObject3D-Datensätzen zeigen, dass die vorgeschlagene Methode in Bezug auf perceptuelle Qualität und Effizienz Spitzenleistungen für sparse Input-Views erreicht.