OpenGaussian: Hacia la comprensión de vocabulario abierto basada en Gaussianas 3D a nivel de punto

Este documento presenta OpenGaussian, un método basado en 3D Gaussian Splatting (3DGS) capaz de comprensión del vocabulario abierto a nivel de puntos 3D. Nuestra principal motivación proviene de la observación de que los métodos existentes de vocabulario abierto basados en 3DGS se centran principalmente en el análisis a nivel de píxeles 2D. Estos métodos tienen dificultades con tareas a nivel de punto 3D debido a la baja expresividad de características y a asociaciones inexactas de características 2D-3D. Para garantizar una presentación robusta de características y una comprensión a nivel de punto 3D, primero empleamos máscaras SAM sin asociaciones entre cuadros para entrenar características de instancia con consistencia 3D. Estas características exhiben tanto consistencia intra-objeto como distinción inter-objeto. Luego, proponemos un codebook de dos etapas para discretizar estas características desde niveles gruesos hasta finos. En el nivel grueso, consideramos la información posicional de los puntos 3D para lograr un agrupamiento basado en la ubicación, que luego se refina en el nivel fino. Finalmente, introducimos un método de asociación de características 3D-2D a nivel de instancia que vincula puntos 3D a máscaras 2D, que se asocian aún más con características 2D CLIP. Experimentos extensivos, incluyendo selección de objetos 3D basada en vocabulario abierto, comprensión de nubes de puntos 3D, selección de objetos 3D basada en clics y estudios de ablación, demuestran la eficacia de nuestro método propuesto. Página del proyecto: https://3d-aigc.github.io/OpenGaussian