Störung der Aufmerksamkeit bringt mehr Nutzen: Subtile Bildstörungen, die maßgeschneiderte Diffusionsmodelle effizient täuschen

Diffusionsmodelle (DMs) läuten eine neue Ära des generativen Modellierens ein und bieten mehr Möglichkeiten zur effizienten Erstellung hochwertiger und realistischer Datensätze. Ihr weit verbreiteter Einsatz hat jedoch auch neue Herausforderungen in Bezug auf die Sicherheit der Modelle mit sich gebracht, was die Entwicklung effektiverer adversarialer Angriffe auf DMs motiviert, um deren Verwundbarkeit zu verstehen. Wir schlagen CAAT vor, einen einfachen, aber generischen und effizienten Ansatz, der kein kostspieliges Training erfordert, um latente Diffusionsmodelle (LDMs) effektiv zu täuschen. Der Ansatz basiert auf der Beobachtung, dass Kreuz-Attention-Schichten eine höhere Sensitivität gegenüber Gradientenänderungen zeigen, wodurch subtile Störungen auf veröffentlichten Bildern genutzt werden können, um die erzeugten Bilder erheblich zu verfälschen. Wir zeigen, dass eine subtile Störung auf einem Bild die Kreuz-Attention-Schichten erheblich beeinflussen kann, wodurch die Zuordnung zwischen Text und Bild während des Fine-Tunings maßgeschneiderter Diffusionsmodelle verändert wird. Umfassende Experimente zeigen, dass CAAT mit verschiedenen Diffusionsmodellen kompatibel ist und die Basisangriffsmethoden auf eine effektivere (mehr Rauschen) und effizientere (doppelt so schnell wie Anti-DreamBooth und Mist) Weise übertrifft.