GET3D: Um Modelo Generativo de Formas 3D Texturizadas de Alta Qualidade Aprendido a partir de Imagens

À medida que várias indústrias estão se movendo em direção à modelagem de enormes mundos virtuais 3D, a necessidade de ferramentas de criação de conteúdo que possam escalar em termos de quantidade, qualidade e diversidade de conteúdo 3D está se tornando evidente. Em nosso trabalho, o objetivo é treinar modelos generativos 3D de alto desempenho que sintetizem malhas texturizadas que podem ser diretamente consumidas por motores de renderização 3D, tornando-as imediatamente utilizáveis em aplicações subsequentes. Trabalhos anteriores em modelagem generativa 3D ou carecem de detalhes geométricos, ou são limitados na topologia da malha que podem produzir, tipicamente não suportam texturas, ou utilizam renderizadores neurais no processo de síntese, o que torna seu uso em software 3D comum não trivial. Neste trabalho, introduzimos o GET3D, um modelo generativo que gera diretamente malhas 3D texturizadas explícitas com topologia complexa, ricos detalhes geométricos e texturas de alta fidelidade. Nós conectamos o sucesso recente na modelagem de superfícies diferenciáveis, renderização diferenciável, assim como Redes Adversariais Generativas 2D para treinar nosso modelo a partir de coleções de imagens 2D. O GET3D é capaz de gerar malhas 3D texturizadas de alta qualidade, que variam de carros, cadeiras, animais, motocicletas e personagens humanos a edifícios, alcançando melhorias significativas em relação a métodos anteriores.