Key points are not available for this paper at this time.
Score-basierte Diffusionsmodelle (SBDMs) haben die SOTA FID-Ergebnisse in ungepaßter Bild-zu-Bild-Übersetzung (I2I) erreicht. Wir stellen jedoch fest, dass bestehende Methoden die Trainingsdaten im Quellbereich völlig ignorieren, was zu suboptimalen Lösungen für ungepaßte I2I führt. Zu diesem Zweck schlagen wir energiegeführte stochastische Differentialgleichungen (EGSDE) vor, die eine Energie-Funktion verwenden, die sowohl auf den Quell- als auch auf den Zielbereichen vortrainiert ist, um den Inferenzprozess einer vortrainierten SDE für realistische und treue ungepaßte I2I zu leiten. Aufbauend auf zwei Merkmals-Extraktoren entwerfen wir die Energie-Funktion sorgfältig, sodass sie das übertragene Bild ermutigt, die domänenunabhängigen Merkmale zu bewahren und domänenspezifische zu verwerfen. Darüber hinaus bieten wir eine alternative Erklärung der EGSDE als Produkt von Experten an, wobei jeder der drei Experten (entsprechend der SDE und den beiden Merkmals-Extraktoren) ausschließlich zu Treue oder Realismus beiträgt. Empirisch vergleichen wir EGSDE mit einer großen Familie von Baselines bei drei weit verbreiteten ungepaßten I2I-Aufgaben unter vier Metriken. EGSDE übertrifft konsequent bestehende SBDM-basierte Methoden in fast allen Einstellungen und erreicht auch die SOTA Realismus-Ergebnisse, ohne die treue Leistung zu beeinträchtigen. Darüber hinaus ermöglicht EGSDE flexible Abwägungen zwischen Realismus und Treue, und wir verbessern die Realismus-Ergebnisse weiter (z.B. FID von 51,04 bei Katze zu Hund und FID von 50,43 bei Wild zu Hund auf AFHQ), indem wir Hyperparameter anpassen. Der Code ist verfügbar unter https://github.com/ML-GSAI/EGSDE.
Zhao et al. (Do.) haben diese Frage untersucht.