MVD² : Reconstruction 3D multi-vue efficace pour la diffusion multi-vue

En tant que technique prometteuse de génération 3D, la diffusion multivue (MVD) a reçu beaucoup d'attention en raison de ses avantages en termes de généralisabilité, de qualité et d'efficacité. En ajustant des modèles de diffusion d'images à grande échelle pré-entraînés avec des données 3D, les méthodes MVD génèrent d'abord plusieurs vues d'un objet 3D sur la base d'une image ou d'une invite textuelle, puis reconstruisent des formes 3D grâce à la reconstruction 3D multivue. Cependant, les vues dispersées et les détails incohérents dans les images générées rendent la reconstruction 3D difficile. Nous présentons MVD², une méthode de reconstruction 3D efficace pour les images de diffusion multivue (MVD). MVD² agrège des caractéristiques d'image dans un volume de caractéristiques 3D par projection et convolution, puis décode les caractéristiques volumétriques en un maillage 3D. Nous formons MVD² avec des collections de formes 3D et des images MVD invitant des vues rendues de formes 3D. Pour remédier à la disparité entre les images multivues générées et les vues réelles des formes 3D, nous concevons un schème d'entraînement simple mais efficace dépendant des vues. MVD² améliore la qualité de génération 3D des MVD et est rapide et robuste face à diverses méthodes MVD. Après l'entraînement, il peut efficacement décoder des maillages 3D à partir d'images multivues en moins d'une seconde. Nous formons MVD² avec le jeu de données 3D Zero-123++ et ObjectVerse-LVIS et démontrons sa performance supérieure dans la génération de modèles 3D à partir d'images multivues générées par différentes méthodes MVD, en utilisant à la fois des images synthétiques et réelles comme invites.