ड्रीमबूथ: विषय-चालित निर्माण के लिए टेक्स्ट-टू-इमेज डिफ्यूजन मॉडलों का फाइन ट्यूनिंग

बड़े टेक्स्ट-टू-इमेज मॉडल AI के विकास में एक उल्लेखनीय छलांग लेकर आए हैं, जो दिए गए टेक्स्ट प्रॉम्प्ट से उच्च गुणवत्ता और विविध छवियों का संश्लेषण सक्षम बनाते हैं। हालांकि, ये मॉडल दिए गए संदर्भ सेट में विषयों की रूपरेखा की नकल करने और उन्हें विभिन्न संदर्भों में नए संस्करणों में संश्लेषित करने की क्षमता नहीं रखते। इस कार्य में, हम टेक्स्ट-टू-इमेज डिफ्यूजन मॉडलों के "व्यक्तिगतकरण" के लिए एक नया दृष्टिकोण प्रस्तुत करते हैं। किसी विषय की केवल कुछ छवियों को इनपुट के रूप में लेते हुए, हम एक पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज मॉडल को फाइन-ट्यून करते हैं ताकि वह उस विशिष्ट विषय के साथ एक अद्वितीय पहचानकर्ता को जोड़ना सीख सके। एक बार जब विषय मॉडल के आउटपुट डोमेन में एम्बेड हो जाता है, तो उस अद्वितीय पहचानकर्ता का प्रयोग विषय की नए सन्दर्भित भिन्न दृष्यों में फोटोरियलिस्टिक छवियाँ संश्लेषित करने के लिए किया जा सकता है। मॉडल में अंतर्निहित सेमांटिक प्रायर का लाभ उठाते हुए और एक नए ऑटोजेनस क्लास-विशिष्ट प्रायर प्रिज़र्वेशन लॉस के साथ, हमारी तकनीक संदर्भ छवियों में न दिखाई देने वाले विभिन्न परिदृश्यों, मुद्राओं, दृश्यों और प्रकाश व्यवस्था की स्थितियों में विषय को संश्लेषित करने सक्षम बनाती है। हम अपनी तकनीक को कई पहले अभेद्य कार्यों पर लागू करते हैं, जिनमें विषय पुनःसंदर्भीकरण, टेक्स्ट-मार्गदर्शित दृश्य संश्लेषण और कलात्मक रूपांकन शामिल हैं, सभी विषय की मुख्य विशेषताओं को संरक्षित करते हुए। हम इस नए विषय-चालित निर्माण कार्य के लिए एक नया डेटासेट और मूल्यांकन प्रोटोकॉल भी प्रदान करते हैं। परियोजना पृष्ठ: https://dreambooth.github.io/