DG3D: Gerando Formas Texturizadas 3D de Alta Qualidade Aprendendo a Discriminar Renderizações de Difusão Multimodal

Muitas aplicações de realidade virtual requerem conteúdo 3D maciço, o que impõe a necessidade de ferramentas de modelagem de baixo custo e eficientes em termos de qualidade e quantidade. Neste artigo, apresentamos um modelo Generativo aumentado por Difusão para gerar malhas texturizadas 3D de alta fidelidade que podem ser usadas diretamente em motores gráficos modernos. Os desafios na geração direta de malhas texturizadas surgem da instabilidade e da incompletude de textura de uma estrutura híbrida que contém conversão entre recursos 2D e espaço 3D. Para aliviar essas dificuldades, o DG3D incorpora um módulo de aumento baseado em difusão no jogo min-max entre o gerador de malha tetraédrica 3D e os discriminadores de renderizações 2D, que estabiliza a otimização da rede e previne o colapso de modos em GANs padrão. Também sugerimos usar renderizações multimodais na discriminação para aumentar ainda mais a estética e a completude das texturas geradas. Experimentos extensivos no benchmark público e em varreduras reais mostram que nosso DG3D proposto supera os métodos existentes de última geração por uma grande margem, ou seja, 5% ∼ 40% na pontuação FID-3D e 5% ∼ 10% em métricas relacionadas à geometria. O código está disponível em https://github.com/seakforzq/DG3D.