Ein Element ist eine Aufforderung wert: Vielseitige Bildbearbeitung mit entkoppelter Kontrolle

Aufbauend auf dem Erfolg von Text-zu-Bild-Diffusionsmodellen (DPMs) ist die Bildbearbeitung eine wichtige Anwendung zur Ermöglichung der Interaktion zwischen Menschen und von KI-generierten Inhalten. Unter den verschiedenen Bearbeitungsmethoden gewinnt die Bearbeitung im Aufforderungsraum zunehmend an Aufmerksamkeit, da deren Kapazität und Einfachheit zur Kontrolle der Semantik betont wird. Da Diffusionsmodelle jedoch normalerweise auf beschreibenden Textbeschreibungen vortrainiert werden, führt die direkte Bearbeitung von Wörtern in Textaufforderungen normalerweise zu völlig unterschiedlichen generierten Bildern, was den Anforderungen an die Bildbearbeitung widerspricht. Andererseits berücksichtigen bestehende Bearbeitungsmethoden in der Regel die Einführung räumlicher Masken, um die Identität der unbearbeiteten Bereiche zu bewahren, die von DPMs normalerweise ignoriert werden und daher zu disharmonischen Bearbeitungsergebnissen führen. Um diese beiden Herausforderungen anzugehen, schlagen wir in dieser Arbeit vor, die umfassende Interaktion zwischen Bild und Aufforderung in mehrere Element-Aufforderungsinteraktionen zu entkoppeln, wobei jedes Element mit einer speziellen gelernten Aufforderung verknüpft ist. Das resultierende Framework, genannt D-Edit, basiert auf vortrainierten Diffusionsmodellen mit entkoppelten Kreuzaufmerksamkeitsfunktionen und verwendet eine zweistufige Optimierung, um Element-Aufforderungsassoziationen aufzubauen. Vielseitige Bildbearbeitung kann dann auf spezifische Elemente angewendet werden, indem die entsprechenden Aufforderungen manipuliert werden. Wir demonstrieren erstklassige Ergebnisse in vier Arten von Bearbeitungsoperationen, einschließlich bildbasierter, textbasierter, maskenbasierter Bearbeitung und Elemententfernung, die die meisten Arten von Bearbeitungsanwendungen abdecken, alles innerhalb eines einzigen einheitlichen Rahmens. Bemerkenswerterweise ist D-Edit der erste Rahmen, der (1) die Elementbearbeitung durch Maskenbearbeitung erreichen kann und (2) bild- und textbasierte Bearbeitung kombiniert. Wir demonstrieren die Qualität und Vielseitigkeit der Bearbeitungsergebnisse für eine vielfältige Sammlung von Bildern sowohl durch qualitative als auch quantitative Bewertungen.