DiSR-NeRF : Super-Résolution NeRF Cohérente en Vue Guidée par Diffusion

Nous présentons DiSR-NeRF, un cadre guidé par diffusion pour la super-résolution (SR) NeRF cohérente en vue. Contrairement aux travaux précédents, nous contournons l'exigence d'images de référence haute résolution (HR) en tirant parti de modèles de super-résolution 2D puissants existants. Néanmoins, les images SR 2D indépendantes sont souvent incohérentes à travers différentes vues. Nous proposons donc la Synchronisation 3D Itérative (I3DS) pour atténuer le problème d'incohérence grâce à la propriété de cohérence multi-vue inhérente de NeRF. Plus spécifiquement, notre I3DS alterne entre l'agrandissement d'images rendues basse résolution (LR) avec des modèles de diffusion, et la mise à jour de la représentation 3D sous-jacente avec l'entraînement standard de NeRF. Nous introduisons également la Distillation de Score Renoisée (RSD), un nouvel objectif de distillation de score pour la résolution d'images 2D. Notre RSD combine des caractéristiques de l'échantillonnage ancestral et de l'Échantillonnage par Distillation de Score (SDS) pour générer des images nettes qui sont également cohérentes en LR. Les résultats qualitatifs et quantitatifs sur des ensembles de données synthétiques et réelles démontrent que notre DiSR-NeRF peut obtenir de meilleurs résultats en super-résolution NeRF par rapport aux travaux existants. Le code et les résultats vidéo sont disponibles sur le site du projet.