S3R-GS: Simplificando o Pipeline para Reconstrução em Larga Escala de Cenas de Rua

Recentemente, o 3D Gaussian Splatting (3DGS) reformulou o campo da reconstrução 3D fotorrealista, alcançando qualidade e velocidade de renderização impressionantes. No entanto, quando aplicado a cenas de rua em larga escala, os métodos existentes sofrem de custos de reconstrução que aumentam rapidamente por ponto de vista à medida que o tamanho da cena aumenta, levando a um overhead computacional significativo. Após revisar o pipeline convencional, identificamos três fatores chave que explicam esse problema: transformações locais para globais desnecessárias, projeções excessivas de 3D para 2D e renderização ineficiente de conteúdo distante. Para enfrentar esses desafios, propomos o S3R-GS, uma estrutura de 3DGS que simplifica o pipeline para a Reconstrução de Cenas de Rua em Larga Escala, mitigando efetivamente essas limitações. Além disso, a maioria dos métodos de 3DGS de rua existentes depende de caixas delimitadoras 3D de verdade para separar componentes dinâmicos e estáticos, mas as caixas delimitadoras 3D são difíceis de obter, limitando a aplicabilidade no mundo real. Para resolver isso, propomos uma solução alternativa com caixas 2D, que são mais fáceis de anotar ou podem ser previstas por modelos de fundação de visão prontos para uso. Esses designs juntos fazem o S3R-GS se adaptar prontamente a cenários grandes e no mundo real. Experimentos extensivos demonstram que o S3R-GS melhora a qualidade de renderização e acelera significativamente a reconstrução. Notavelmente, quando aplicado a vídeos do desafiador conjunto de dados Argoverse2, alcança PSNR e SSIM de última geração, reduzindo o tempo de reconstrução para abaixo de 50%—e até mesmo 20%—em relação a métodos concorrentes.