चेहरे के गुणों के हेरफेर के लिए अवशिष्ट छवियों का अध्ययन

चेहरे के गुण मानव चेहरों का विस्तृत वर्णन प्रदान करने के कारण रोचक होते हैं। गुणों की भविष्यवाणी पर काम करने वाले पहले के शोधों के विपरीत, हम एक विपरीत और अधिक चुनौतीपूर्ण समस्या का समाधान करते हैं जिसे चेहरे के गुणों का हेरफेर कहा जाता है, जिसका उद्देश्य दी गई गुण मान के अनुसार चेहरे की तस्वीर को संशोधित करना है। संपूर्ण छवि को संशोधित करने के बजाय, हम संबंधित अवशिष्ट छवि को सीखने का प्रस्ताव रखते हैं, जिसे संशोधन के पहले और बाद की छवियों के बीच के अंतर के रूप में परिभाषित किया जाता है। इस तरह, हेरफेर को मामूली पिक्सेल संशोधन के साथ प्रभावी ढंग से संचालित किया जा सकता है। हमारे दृष्टिकोण का ढांचा जनरेटिव एडेवर्सेरियल नेटवर्क पर आधारित है। इसमें दो छवि परिवर्तन नेटवर्क और एक पृथक्करण नेटवर्क शामिल हैं। परिवर्तन नेटवर्क गुण हेरफेर और इसके डुअल संचालन के लिए जिम्मेदार होते हैं और पृथक्करण नेटवर्क उत्पन्न छवियों को वास्तविक छवियों से भिन्न करने के लिए उपयोग किया जाता है। हम एक दूसरे से सीखने के लिए परिवर्तन नेटवर्क पर भी डुअल लर्निंग लागू करते हैं। प्रयोग दर्शाते हैं कि अवशिष्ट छवियों को प्रभावी ढंग से सीखा जा सकता है और गुण हेरफेर के लिए उपयोग किया जा सकता है। उत्पन्न छवियों में गुण-से अप्रासंगिक क्षेत्रों में अधिकांश विवरण बनाए रखते हैं।