Key points are not available for this paper at this time.
Die Bildinpainting mit Diffusionsmodellen erfolgt in der Regel entweder mit vorkonditionierten Modellen, d.h. bildkonditionierten Modellen, die für die Malaufgabe fein abgestimmt sind, oder mit nachkonditionierten Modellen, d.h. unkonditionierten Modellen, die zum Zeitpunkt der Inferenz für die Malaufgabe umfunktioniert werden. Vorkonditionierte Modelle sind bei der Inferenzzeit schnell, aber äußerst teuer in der Ausbildung. Nachkonditionierte Modelle erfordern keine Ausbildung, sind jedoch während der Inferenz langsam und erfordern multiple Vorwärts- und Rückwärtsdurchläufe, um zu einer wünschenswerten Lösung zu konvergieren. Hier leiten wir einen Ansatz ab, der keine teure Ausbildung erfordert und dennoch bei der Inferenzzeit schnell ist. Um die kostspielige Rechenzeit bei der Inferenz zu lösen, führen wir den Vorwärts-Rückwärts-Fusionsschritt im latenten Raum anstelle des Bildraums durch. Dies wird mit einem neu vorgeschlagenen Propagationsmodul im Diffusionsprozess gelöst. Experimente in mehreren Domänen zeigen, dass unser Ansatz die Ergebnisse der Spitzenforschung erreicht oder verbessert, wobei die Vorteile von vorkonditionierten und nachkonditionierten Modellen ohne deren Nachteile bestehen.
Corneanu et al. (Wed,) haben diese Frage untersucht.