SonicDiffusion: Audio-gesteuerte Bildgenerierung und -bearbeitung mit vortrainierten Diffusionsmodellen

Wir erleben eine Revolution in der bedingten Bildsynthese mit dem kürzlichen Erfolg von großflächigen Text-zu-Bild-Generierungsmethoden. Dieser Erfolg eröffnet auch neue Möglichkeiten zur Kontrolle des Generierungs- und Bearbeitungsprozesses mit multimodalen Eingaben. Während die räumliche Kontrolle mithilfe von Hinweisen wie Tiefe, Skizze und anderen Bildern viel Forschung angezogen hat, argumentieren wir, dass eine ebenso effektive Modalität Audio ist, da Klang und Sicht zwei Hauptbestandteile der menschlichen Wahrnehmung sind. Daher schlagen wir eine Methode vor, um Audio-Bedingungen in großflächigen Bilddiffusionsmodellen zu ermöglichen. Unsere Methode mappt zunächst Merkmale aus Audioclips auf Tokens, die ähnlich wie Text-Tokens in das Diffusionsmodell eingespeist werden können. Wir führen zusätzliche Audio-Bild-Cross-Attention-Schichten ein, die wir feintunen, während wir die Gewichte der ursprünglichen Schichten des Diffusionsmodells einfrieren. Neben der audio-bedingten Bildgenerierung kann unsere Methode auch in Verbindung mit diffusionsbasierten Bearbeitungsmethoden verwendet werden, um die audio-bedingte Bildbearbeitung zu ermöglichen. Wir demonstrieren unsere Methode an einer Vielzahl von Audio- und Bilddatensätzen. Wir führen umfassende Vergleiche mit aktuellen Methoden durch und zeigen eine überlegene Leistung.