AvatarReX: वास्तविक-समय अभिव्यक्तिपूर्ण पूरे शरीर के अवतार

हम AvatarReX प्रस्तुत करते हैं, एक नई विधि जो वीडियो डेटा से NeRF-आधारित पूरे शरीर के अवतार सीखने के लिए है। सीखा गया अवतार न केवल शरीर, हाथों और चेहरे का अभिव्यक्तिपूर्ण नियंत्रण प्रदान करता है, बल्कि वास्तविक-समय एनीमेशन और रेंडरिंग का भी समर्थन करता है। इस उद्देश्य के लिए, हम एक संयोजी अवतार प्रतिनिधित्व का प्रस्ताव रखते हैं, जहाँ शरीर, हाथ और चेहरा अलग-अलग मॉडल किए जाते हैं ताकि संरचनात्मक पूर्वाग्रह पैरामीट्रिक मेष टेम्पलेट्स से सही ढंग से उपयोग किया जा सके बिना प्रतिनिधित्व की लचीलापन से समझौता किए। इसके अलावा, हम प्रत्येक भाग के लिए ज्यामिति और उपस्थिति को अलग करते हैं। इन तकनीकी डिज़ाइन के साथ, हम एक विशेष डिफर्ड रेंडरिंग पाइपलाइन का प्रस्ताव करते हैं, जिसे उच्च गुणवत्ता वाली फ्री-व्यू छवियों को संश्लेषित करने के लिए वास्तविक-समय फ्रेमरेट पर निष्पादित किया जा सकता है। ज्यामिति और उपस्थिति का अलगाव हमें एक दो-कदम ट्रेनिंग रणनीति डिजाइन करने की भी अनुमति देता है जो नेटवर्क प्रशिक्षण के लिए वॉल्यूम रेंडरिंग और सतह रेंडरिंग को जोड़ता है। इस प्रकार, पैच-स्तरीय पर्यवेक्षण को लागू किया जा सकता है ताकि नेटवर्क को ज्यामिति अनुमान के आधार पर तेज उपस्थिति विवरणों को सीखने के लिए मजबूर किया जा सके। कुल मिलाकर, हमारी विधि वास्तविक-समय रेंडरिंग क्षमता के साथ अभिव्यक्तिपूर्ण पूरे शरीर के अवतारों का स्वचालित निर्माण सक्षम करती है, और नए शरीर की गति और चेहरे के भाव के लिए गतिशील विवरणों के साथ फोटो-यथार्थवादी छवियाँ उत्पन्न कर सकती है.