कैनोनिकलफ्यूजन: कई चित्रों से ड्राइव करने योग्य 3D मानव अवतार बनाना

हम कई चित्रों से एनिमेटेबल मानव अवतार को पुनर्निर्मित करने के लिए एक नया ढांचा प्रस्तुत करते हैं, जिसे कैनोनिकलफ्यूजन कहा जाता है। हमारा केंद्रीय विचार व्यक्तिगत पुनर्निर्माण परिणामों को कैनोनिकल स्पेस में एकीकृत करना है। विशेषकर, हम पहले एक साझा-एनकोडर-डुअल-डिकोडर नेटवर्क का उपयोग करके लिनियर ब्लेंड स्किनिंग (LBS) वेट मैप और डेप्थ मैप की भविष्यवाणी करते हैं, जो अनुमानित डेप्थ मैप से 3D मेष का सीधे कैनोनिकल बनाना सक्षम करता है। यहाँ, उच्च-आयामी स्किनिंग वेट की भविष्यवाणी करने के बजाय, हम प्री-ट्रेंड MLP नेटवर्क की सहायता से संकुचित स्किनिंग वेट, यानी 3-आयामी वेक्टर, निकालते हैं। हम कई चित्रों से पुनर्निर्मित परिणामों को विलय करने के लिए एक फॉरवर्ड स्किनिंग-आधारित विभेदक रेंडरिंग योजना भी प्रस्तुत करते हैं। यह योजना प्रारंभिक मेष को फॉरवर्ड स्किनिंग के माध्यम से पुनर्व्यवस्थित करके और रेंडर एवं भविष्यवाणी किए गए परिणामों के बीच फ़ोटोग्राफ़िक और ज्यामेट्रिक त्रुटियों को न्यूनतम करके परिष्कृत करती है। हमारी अनुकूलन योजना प्रत्येक चित्र के लिए वर्टिस की स्थिति और रंग के साथ-साथ संयुक्त कोणों पर विचार करती है, जिससे मुद्रा त्रुटियों के नकारात्मक प्रभाव को कम किया जा सके। हम अपनी विधि की प्रभावशीलता को प्रदर्शित करने के लिए व्यापक प्रयोग करते हैं और हमारी कैनोनिकलफ्यूजन की तुलना उच्चतम तकनीक के तरीकों से करते हैं। हमारे स्रोत कोड https://github.com/jsshin98/CanonicalFusion पर उपलब्ध हैं।