Key points are not available for this paper at this time.
Die Kontrolle des Generierungsergebnisses modernster Diffusions- und Flussanpassungs (FM) Modelle, ohne ein auf eine spezifische Aufgabe trainiertes Modell neu trainieren zu müssen, eröffnet ein leistungsstarkes Werkzeug zur Lösung inverser Probleme, bedingter Generierung und kontrollierter Generierung im Allgemeinen. In dieser Arbeit stellen wir D-Flow vor, ein einfaches Framework zur Steuerung des Generierungsprozesses durch Differenzierung über den Fluss, wobei wir auf den Quellpunkt (Rauschpunkt) optimieren. Wir motivieren dieses Framework durch unsere entscheidende Beobachtung, die besagt, dass die Differenzierung des Generierungsprozesses bei mit Gauß'schen Wahrscheinlichkeitswegen trainierten Diffusions/FN-Modellen den Gradient auf die Datenmannigfaltigkeit projiziert und implizit die Priors in den Optimierungsprozess injiziert. Wir validieren unser Framework an linearen und nicht-linearen kontrollierten Generierungsproblemen, einschließlich: Bild- und Audio-inversen Problemen sowie bedingter Molekülgenerierung, und erreichen dabei in allen Bereichen den Stand der Technik.
Ben-Hamu et al. (Wed,) haben diese Frage untersucht.