शैली-जानकारी वाले मानकीकृत हानि का उपयोग करते हुए मनमानी शैली हस्तांतरण में सुधार

न्यूरल स्टाइल ट्रांसफर (NST) ने जल्दी से एकल-शैली से अनंत-शैली मॉडलों में विकास किया है, जिसे मनमानी स्टाइल ट्रांसफर (AST) के रूप में भी जाना जाता है। हालांकि आकर्षक परिणामों की व्यापक रूप से रिपोर्ट की गई है, हमारे चार प्रसिद्ध AST दृष्टिकोणों (GoogleMagenta 14, AdaIN 19, LinearTransfer 29, और SANet 37) पर किए गए अनुभवात्मक अध्ययन यह दिखाते हैं कि 50% से अधिक समय, AST शैलीबद्ध छवियां मानव उपयोगकर्ताओं के लिए स्वीकार्य नहीं हैं, आमतौर पर अधर- या अधिक-शैलीकरण के कारण। हम इस असंतुलित शैली हस्तांतरणीयता (IST) के कारण का व्यवस्थित अध्ययन करते हैं और इस समस्या को कम करने के लिए एक सरल फिर भी प्रभावी समाधान का प्रस्ताव करते हैं। हमारे अध्ययन यह दिखाते हैं कि IST मुद्दा पारंपरिक AST शैली हानि से संबंधित है, और यह प्रकट करते हैं कि इसकी जड़ समस्या यह है कि प्रशिक्षण नमूनों का समान भार उनके संबंधित शैली छवियों के गुणों की परवाह किए बिना है, जो मॉडल को निश्चित शैलियों की ओर पक्षपाती करता है। AST शैली हानि की सैद्धांतिक सीमाओं की जांच के माध्यम से, हम एक नई हानि का प्रस्ताव करते हैं जो IST को बड़े पैमाने पर मात देती है। सैद्धांतिक विश्लेषण और प्रयोगात्मक परिणाम हमारी हानि की प्रभावशीलता को मान्य करते हैं, शैली धोखाधड़ी दर में 80% से अधिक सापेक्ष सुधार और मानव मूल्यांकन में 98% से अपेक्षाकृत उच्च प्राथमिकता के साथ।