I2-SDF : Reconstruction et édition intrinsèques de scènes intérieures via le raytracing dans des SDF neuronaux

Dans ce travail, nous présentons I2-SDF, une nouvelle méthode pour la reconstruction et l'édition intrinsèques de scènes intérieures utilisant le raytracing Monte Carlo différentiable sur des champs de distance signés neuronaux (SDF). Notre cadre holistique basé sur les SDF neuronaux récupère conjointement les formes sous-jacentes, la radiance incidente et les matériaux à partir d'images multi-vues. Nous introduisons une nouvelle perte de bulle pour les petits objets de manière fine et un schéma d'échantillonnage adaptatif guidé par l'erreur pour améliorer considérablement la qualité de reconstruction sur des scènes intérieures à grande échelle. De plus, nous proposons de décomposer le champ de radiance neuronal en matériau spatialement variable de la scène sous forme de champ neuronal via le raytracing Monte Carlo basé sur la surface et les segmentations sémantiques des émetteurs, ce qui permet des applications de relighting et d'édition de scènes basées sur la physique et photoréalistes. À travers un certain nombre d'expériences qualitatives et quantitatives, nous démontrons la qualité supérieure de notre méthode pour la reconstruction de scènes intérieures, la synthèse de nouvelles vues et l'édition de scènes par rapport aux bases de référence à la pointe de la technologie. Notre page de projet est disponible sur https://jingsenzhu.github.io/i2-sdf.