Key points are not available for this paper at this time.
In diesem Papier präsentieren wir MoMA: ein offenes, trainierungsfreies personalisiertes Bildmodell, das flexible Zero-Shot-Fähigkeiten besitzt. Während sich grundlegende Text-zu-Bild-Modelle schnell entwickeln, wächst die Nachfrage nach robusten Bild-zu-Bild-Übersetzungen. Um diesem Bedarf gerecht zu werden, spezialisiert sich MoMA auf subjektgesteuerte personalisierte Bildgenerierung. Unter Verwendung eines Open-Source-Multimodalen großen Sprachmodells (MLLM) trainieren wir MoMA, um sowohl als Merkmals-Extraktor als auch als Generator zu fungieren. Dieser Ansatz synergisiert effektiv die Informationen aus Referenzbildern und Text-Prompts, um wertvolle Bildmerkmale zu erzeugen und ein Bild-Diffusionsmodell zu erleichtern. Um die generierten Merkmale besser zu nutzen, führen wir zudem eine neuartige Selbstaufmerksamkeits-Shortcut-Methode ein, die Bildmerkmale effizient an ein Bild-Diffusionsmodell überträgt und die Ähnlichkeit des Zielobjekts in generierten Bildern verbessert. Bemerkenswert ist, dass unser Modell als ein tuning-freies Plug-and-Play-Modul nur ein einzelnes Referenzbild benötigt und bestehende Methoden in der Generierung von Bildern mit hoher Detailtreue, verbesserter Identitätserhaltung und Treue zum Prompt übertrifft. Unsere Arbeit ist Open Source und bietet somit universellen Zugang zu diesen Fortschritten.
Song et al. (Mon,) untersuchten diese Frage.