PNeSM: Estilização Arbitrária de Cena 3D via Mapeamento de Estilo Neural Baseado em Prompt

A estilização de cena 3D refere-se à transformação da aparência de uma cena 3D para corresponder a uma imagem de estilo dada, garantindo que as imagens renderizadas de diferentes pontos de vista exibam o mesmo estilo que a imagem de estilo dada, enquanto mantém a consistência 3D da cena estilizada. Vários métodos existentes alcançaram resultados impressionantes na estilização de cenas 3D. No entanto, os modelos propostos por esses métodos precisam ser re-treinados quando aplicados a uma nova cena. Em outras palavras, seus modelos estão acoplados a uma cena específica e não podem se adaptar a outras cenas arbitrárias. Para resolver esse problema, propomos uma nova estrutura de estilização de cena 3D para transferir um estilo arbitrário a uma cena arbitrária, sem re-treinamento relacionado ao estilo ou à cena. Concretamente, primeiro mapeamos a aparência da cena 3D em um espaço de padrão de estilo 2D, o que realiza o completo desentrelaçamento da geometria e da aparência da cena 3D e permite que nosso modelo se generalize para cenas 3D arbitrárias. Em seguida, estilizamos a aparência da cena 3D no espaço de padrão de estilo 2D por meio de um algoritmo de estilização 2D baseado em prompt. Resultados experimentais demonstram que nossa estrutura proposta é superior aos métodos SOTA tanto em qualidade visual quanto em generalização.