स्क्रिब्लर: स्केच और रंग के साथ गहरी छवि संश्लेषण को नियंत्रित करना

हाल के कई कार्यों ने यथार्थवादी चित्र बनाने के लिए गहरे कॉन्कोल्यूशनल नेटवर्क का उपयोग किया है। ये विधियाँ पारंपरिक कंप्यूटर ग्राफिक्स रेंडरिंग पाइपलाइन से बचती हैं और इसके बजाय बड़े फोटो संग्रह (जैसे चेहरों या बेडरूम) से सीखकर पिक्सेल स्तर पर चित्र उत्पन्न करती हैं। हालाँकि, ये विधियाँ सीमित उपयोगिता की होती हैं क्योंकि उपयोगकर्ता के लिए यह नियंत्रण करना मुश्किल होता है कि नेटवर्क क्या उत्पन्न करता है। इस पत्र में, हम एक गहरी विरोधात्मक छवि संश्लेषण आर्किटेक्चर का प्रस्ताव करते हैं जो स्केच की गई सीमाओं और sparse रंग स्ट्रोक पर आधारित है ताकि यथार्थवादी कारें, बेडरूम या चेहरे उत्पन्न किए जा सकें। हम एक स्केच आधारित छवि संश्लेषण प्रणाली का प्रदर्शन करते हैं जो उपयोगकर्ताओं को वस्तुओं के लिए प्राथमिकता के रंग को इंगित करने के लिए स्केच पर स्क्रिबल करने की अनुमति देती है। हमारा नेटवर्क फिर ऐसे विश्वसनीय चित्र उत्पन्न कर सकता है जो उपयोगकर्ता के रंग और स्केच मानदंडों को संतुष्ट करते हैं। नेटवर्क फीड-फॉरवर्ड है जो उपयोगकर्ताओं को उनके संपादनों के प्रभाव को वास्तविक समय में देखने की अनुमति देता है। हम स्केच से छवि संश्लेषण पर हाल के कार्यों की तुलना करते हैं और दिखाते हैं कि हमारा दृष्टिकोण अधिक यथार्थवादी, विविध और नियंत्रित आउटपुट उत्पन्न करता है। यह आर्किटेक्चर ग्रेस्केल छवियों के रंगाई में भी प्रभावी है।