Key points are not available for this paper at this time.
Die geführte Bildsynthese ermöglicht es alltäglichen Nutzern, mit minimalem Aufwand fotorealistische Bilder zu erstellen und zu bearbeiten. Die größte Herausforderung besteht darin, die Treue zum Benutzereingaben (z. B. handgezeichnete farbige Striche) und den Realismus des synthetisierten Bildes in Einklang zu bringen. Bestehende GAN-basierte Methoden versuchen, ein solches Gleichgewicht entweder mit bedingten GANs oder GAN-Inversionen zu erreichen, was herausfordernd ist und oft zusätzliche Trainingsdaten oder Verlustfunktionen für individuelle Anwendungen erfordert. Um diese Probleme anzugehen, stellen wir eine neue Bildsynthese- und Bearbeitungsmethode vor, die stochastische Differentialbearbeitung (SDEdit) heißt und auf einem generativen Vortrainingsmodell basiert, das durch iterative Denoising über eine stochastische Differentialgleichung (SDE) realistische Bilder synthetisiert. Bei einem Eingabebild mit Benutzerführung jeglicher Art fügt SDEdit zunächst Rauschen hinzu, um dann das resultierende Bild durch das SDE-Vortrainingsmodell zu entrauschen, um seinen Realismus zu erhöhen. SDEdit erfordert kein aufgabenspezifisches Training oder Inversionen und kann auf natürliche Weise das Gleichgewicht zwischen Realismus und Treue erreichen. Laut einer Studie zur menschlichen Wahrnehmung über mehrere Aufgaben hinweg, einschließlich strichbasierter Bildsynthese und -bearbeitung sowie Bildkomposition, übertrifft SDEdit die neuesten GAN-basierten Methoden um bis zu 98,09 % im Realismus und 91,72 % bei den Gesamtzufriedenheitswerten.
Meng et al. (Mon,) untersuchten diese Frage.