Key points are not available for this paper at this time.
A Síntese de Novas Vistas (NVS) a partir de coleções de fotos não restritas é desafiadora na computação gráfica. Recentemente, o Splatting Gaussiano 3D (3DGS) mostrou-se promissor para NVS fotorrealista e em tempo real de cenas estáticas. Com base no 3DGS, propomos uma estrutura de renderização diferenciável baseada em pontos e eficiente para reconstrução de cenas a partir de coleções de fotos. Nossa principal inovação é um módulo de transferência de coeficientes harmônicos esféricos baseado em resíduos que adapta o 3DGS a condições de iluminação variáveis e pós-processamento fotométrico. Este módulo leve pode ser pré-computado e garante uma propagação eficiente de gradientes de imagens renderizadas para atributos Gaussianos 3D. Além disso, observamos que o codificador de aparência e o preditor de máscara transitória, as duas partes mais críticas do NVS de coleções de fotos não restritas, podem ser mutuamente benéficas. Introduzimos um módulo de atenção espacial leve plug-and-play para prever simultaneamente oclusores transitórios e a representação de aparência latente para cada imagem. Após treinamento e pré-processamento, nosso método se alinha ao formato e pipeline de renderização padrão do 3DGS, facilitando a integração perfeita em várias aplicações de 3DGS. Extensos experimentos em diversos conjuntos de dados mostram que nossa abordagem supera as existentes na qualidade de renderização de novas vistas e síntese de aparências com alta convergência e velocidade de renderização.
Wang et al. (Ter,) estudaram esta questão.