Spurfies: Reconstrução de Superfície Esparsa usando Priors de Geometria Local

Apresentamos o Spurfies, um novo método para reconstrução de superfície a partir de visualizações esparsas que desvincula a aparência e a informação geométrica para utilizar priors de geometria local treinados em dados sintéticos. Pesquisas recentes têm se concentrado pesadamente na reconstrução 3D usando configurações de múltiplas visualizações densas, geralmente exigindo centenas de imagens. No entanto, esses métodos costumam ter dificuldades em cenários de poucas visualizações. As técnicas de reconstrução de visualização esparsa existentes geralmente dependem de redes estereoscópicas de múltiplas visualizações que precisam aprender priors conjuntos para geometria e aparência a partir de uma grande quantidade de dados. Em contraste, introduzimos uma representação neural pontual que desvincula geometria e aparência para treinar um prior de geometria local usando apenas um subconjunto do conjunto de dados sintéticos ShapeNet. Durante a inferência, utilizamos esse prior de superfície como uma restrição adicional para a reconstrução de superfície e aparência a partir de visualizações de entrada esparsas via renderização de volume diferenciável, restringindo o espaço das possíveis soluções. Validamos a eficácia do nosso método no conjunto de dados DTU e demonstramos que ele supera o estado da arte anterior em 35% na qualidade da superfície, ao mesmo tempo em que alcança qualidade competitiva na síntese de novas visualizações. Além disso, ao contrário de trabalhos anteriores, nosso método pode ser aplicado a cenas maiores e não limitadas, como o Mip-NeRF 360.