सेमान्टिक डिग्रेशन के साथ डिफ्यूजन-आधारित इनपेंटर्स को बाधित करना

वेब और सोशल मीडिया पर दृष्टिगत गलत जानकारी का निर्माण मूलभूत टेक्स्ट-से-इमेज डिफ्यूजन मॉडलों के आगमन के साथ अत्यधिक बढ़ गया है। विशेष रूप से, स्टेबल डिफ्यूजन इनपेंटर्स व्यक्तिगत और निजी व्यक्तियों, और कॉपीराइटेड सामग्री, जिसे दीपफेक के नाम से भी जाना जाता है, के दुर्भावनापूर्ण चित्र बनाने की अनुमति देते हैं। ऐसी जनसंख्याओं का मुकाबला करने के लिए, एक बाधा ढांचा, जिसे फ़ोटोगार्ड कहा गया है, प्रस्तावित किया गया है, जहां यह संदर्भ चित्र में प्रतिकूल शोर जोड़ता है ताकि उनके इनपेंटिंग स син्थेसिस को बाधित किया जा सके। जबकि उनका ढांचा एक डिफ्यूजन-फ्रेंडली दृष्टिकोण का सुझाव देता है, बाधा इतनी मजबूत नहीं है और संदर्भ चित्र को इम्युनाइज करने के लिए GPU और समय की एक महत्वपूर्ण मात्रा की आवश्यकता होती है। हमारे काम में, हम सफल इनपेंटिंग बाधा के लिए न्यूनतम और अनुकूल परिस्थितियों की फिर से जांच करते हैं, DDD, "डिग्रेशन गाइडेड डिफ्यूजन डिस्रप्शन" ढांचा प्रस्तावित करते हैं। सबसे पहले, हम छिपे हुए क्षेत्र के सापेक्ष सबसे प्रतिकूल रूप से कमजोर डिफ्यूजन टाइमस्टेप रेंज की पहचान करते हैं। इस शोर युक्त मैनिफोल्ड के दायरे के भीतर, हम समस्या को सेमान्टिक डिग्रेशन ऑप्टिमाइजेशन के रूप में प्रस्तुत करते हैं। हम इनपेंटिंग उदाहरण की छिपी हुई स्थितियों और सेमांटिक-जानकारी छिपी स्थिति के सेन्ट्रॉइड के बीच की दूरी को अधिकतम करते हैं, जिसे छिपी हुई स्थितियों के मोंटे कार्लो सैंपलिंग और टोकन स्पेस में एक विभाजित प्रक्षिप्त ऑप्टिमाइजेशन द्वारा कैलिब्रेट किया गया है। प्रभावी रूप से, हमारा दृष्टिकोण फ़ोटोगार्ड की तुलना में मजबूत बाधा और उच्च सफलता दर प्राप्त करता है जबकि GPU मेमोरी की आवश्यकता को कम करता है, और ऑप्टिमाइजेशन को तीन गुना अधिक तेज करता है।