Kürzlich haben Entstörungs-Diffusionsmodelle vielversprechende Ergebnisse bei der 2D-Bilderzeugung und -bearbeitung erzielt. Instruct-NeRF2NeRF (IN2N) bringt den Erfolg der Diffusion in die 3D-Szenenbearbeitung durch eine "Iterative Dataset-Aktualisierung" (IDU)-Strategie. Obwohl faszinierende Ergebnisse erzielt werden, leidet IN2N unter Problemen mit unscharfen Hintergründen und dem Feststecken in lokalen Optima. Das erste Problem wird durch die fehlende effiziente Anleitung von IN2N zur Erhaltung des Hintergrunds verursacht, während das zweite aus der Interaktion zwischen Bildbearbeitung und NeRF-Training während IDU resultiert. In dieser Arbeit stellen wir DualNeRF vor, um diese Probleme zu lösen. Wir schlagen eine duale Feldrepräsentation vor, um Merkmale der ursprünglichen Szene zu bewahren und diese als zusätzliche Anleitung für das Modell zur Erhaltung des Hintergrunds während IDU zu nutzen. Darüber hinaus wird eine simulierte Temperierungsstrategie in IDU eingebettet, um unserem Modell die Fähigkeit zu verleihen, lokale Optima-Probleme zu adressieren. Ein CLIP-basierter Konsistenzindikator wird verwendet, um die Bearbeitungsqualität weiter zu verbessern, indem qualitativ minderwertige Bearbeitungen herausgefiltert werden. Umfangreiche Experimente zeigen, dass unsere Methode frühere Methoden sowohl qualitativ als auch quantitativ übertrifft.
Xiong et al. (Sat,) untersuchten diese Frage.