Gaussian Splatting SLAM

Wir präsentieren die erste Anwendung von 3D-Gaussian Splatting im monokularen SLAM, dem grundlegendsten, aber schwierigsten Setup für visuelles SLAM. Unsere Methode, die live bei 3 fps läuft, nutzt Gaussische Verteilungen als einzige 3D-Darstellung und vereinheitlicht die erforderliche Darstellung für genaues, effizientes Tracking, Mapping und qualitativ hochwertiges Rendering. Entworfen für herausfordernde monokulare Einstellungen, ist unser Ansatz nahtlos auf RGB-D SLAM erweiterbar, wenn ein externer Tiefensensor verfügbar ist. Mehrere Innovationen sind erforderlich, um 3D-Szenen mit hoher Treue kontinuierlich aus einer Live-Kamera zu rekonstruieren. Erstens, um über den ursprünglichen 3DGS-Algorithmus hinauszugehen, der genaue Posen von einem Offline-Struktur-von-Bewegung (SfM)-System erfordert, formulieren wir das Kameratracking für 3DGS unter Verwendung direkter Optimierung gegenüber den 3D-Gaussischen und zeigen, dass dies schnelles und robustes Tracking mit einem breiten Konvergenzbereich ermöglicht. Zweitens führen wir durch die Nutzung der expliziten Natur der Gaussischen geometrische Verifikation und Regularisierung ein, um die Mehrdeutigkeiten zu behandeln, die bei inkrementeller 3D-dichter Rekonstruktion auftreten. Schließlich führen wir ein vollständiges SLAM-System ein, das nicht nur Ergebnisse auf dem neuesten Stand der Technik in der synthetischen Neusicht und der Trajektorienabschätzung erzielt, sondern auch die Rekonstruktion winziger und sogar transparenter Objekte ermöglicht.