GTR: Melhorando Modelos Grandes de Reconstrução 3D Através do Refinamento de Geometria e Textura

Propomos uma abordagem inovadora para a reconstrução de malhas 3D a partir de imagens de múltiplas vistas. Nosso método se inspira em grandes modelos de reconstrução como o LRM, que utilizam um gerador triplano baseado em transformador e um modelo de Campo de Radiação Neural (NeRF) treinado em imagens de múltiplas vistas. No entanto, em nosso método, introduzimos várias modificações importantes que nos permitem aprimorar significativamente a qualidade da reconstrução 3D. Em primeiro lugar, examinamos a arquitetura original do LRM e encontramos várias deficiências. Subsequentemente, introduzimos modificações respectivas à arquitetura do LRM, que levam a uma melhor representação de imagens de múltiplas vistas e um treinamento computacionalmente mais eficiente. Em segundo lugar, para melhorar a reconstrução de geometria e permitir supervisão em resolução total de imagem, extraímos malhas do campo NeRF de maneira diferenciável e ajustamos finamente o modelo NeRF através da renderização de malhas. Essas modificações nos permitem alcançar desempenho de ponta em métricas de avaliação 2D e 3D, como um PSNR de 28.67 no conjunto de dados Google Scanned Objects (GSO). Apesar desses resultados superiores, nosso modelo feedforward ainda enfrenta dificuldades para reconstruir texturas complexas, como texto e retratos em ativos. Para enfrentar isso, introduzimos um procedimento leve de refinamento de textura por instância. Este procedimento ajusta finamente a representação triplano e o modelo de estimativa de cor NeRF na superfície da malha usando as imagens de múltiplas vistas de entrada em apenas 4 segundos. Esse refinamento melhora o PSNR para 29.79 e alcança a reconstrução fiel de texturas complexas, como texto. Além disso, nossa abordagem permite várias aplicações subsequentes, incluindo geração de texto ou imagem para 3D.