IS-Diff : Amélioration de l'inpainting basé sur la diffusion avec de meilleures graines initiales

Les modèles de diffusion ont montré des résultats prometteurs en inpainting libre. Des études récentes basées sur des échantillonneurs de diffusion raffinés ou des conceptions architecturales novatrices ont conduit à des résultats réalistes et à une grande cohérence des données. Cependant, la graine d'initialisation aléatoire (bruit) adoptée dans le processus de diffusion vanille peut introduire des informations sémantiques discordantes dans les régions masquées, entraînant des résultats d'inpainting biaisés, par exemple, une faible cohérence et une faible cohérence avec l'autre zone non masquée. Pour remédier à ce problème, nous proposons le Modèle de Diffusion affiné par la Graine Initiale (IS-Diff), une approche entièrement sans entraînement incorporant des graines harmonieuses distributionnelles pour produire des résultats harmonieux. Plus précisément, IS-Diff utilise des graines initiales échantillonnées à partir de zones non masquées pour imiter la distribution des données masquées, établissant ainsi une direction prometteuse pour la procédure de diffusion. De plus, un mécanisme de raffinement sélectif dynamique est proposé pour détecter les inpaintings très disharmonieux dans les latents intermédiaires et ajuster dynamiquement la force de notre prior d'initialisation. Nous validons notre méthode sur des tâches d'inpainting standard et à grand masque en utilisant les ensembles de données CelebA-HQ, ImageNet et Places2, démontrant son efficacité sur tous les indicateurs par rapport aux méthodes d'inpainting à la pointe de la technologie.