Attend-and-Excite: Aufmerksamkeitsbasierte semantische Anleitung für Text-zu-Bild-Diffusionsmodelle

Jüngste text-zu-Bild-generative Modelle haben eine unvergleichliche Fähigkeit gezeigt, vielfältige und kreative Bilder zu generieren, die durch ein Ziel-Text-Prompt geleitet werden. Obwohl revolutionär, können die aktuellen hochmodernen Diffusionsmodelle dennoch versagen, Bilder zu erzeugen, die die Semantik des gegebenen Text-Prompts vollständig wiedergeben. Wir analysieren das öffentlich verfügbare Stable Diffusion-Modell und bewerten das Vorhandensein katastrophaler Vernachlässigung, bei der das Modell nicht in der Lage ist, eines oder mehrere der Subjekte aus dem Eingabe-Prompt zu generieren. Darüber hinaus stellen wir fest, dass das Modell in einigen Fällen auch versagt, Attribute (z. B. Farben) korrekt ihren entsprechenden Subjekten zuzuordnen. Um diese Fehlerfälle zu mildern, führen wir das Konzept des Generativen Semantischen Pflegens (GSN) ein, bei dem wir im generativen Prozess während der Inferenzzeit eingreifen, um die Treue der erzeugten Bilder zu verbessern. Mit einer auf Aufmerksamkeit basierenden Formulierung von GSN, genannt Attend-and-Excite, leiten wir das Modell dazu an, die Cross-Attention-Elemente dazu zu bringen, auf alle Subjekt-Tokens im Text-Prompt zu achten und ihre Aktivierungen zu stärken - oder zu aktivieren - und das Modell zu ermutigen, alle im Text-Prompt beschriebenen Subjekte zu generieren. Wir vergleichen unseren Ansatz mit alternativen Ansätzen und zeigen, dass er die gewünschten Konzepte über eine Reihe von Text-Prompts treuer vermittelt.