शैलीबद्ध वीडियो पोर्ट्रेट को एनीमेट करने के लिए एम्बेडेड प्रतिनिधित्व शिक्षण नेटवर्क

बोलते सिर का उत्पादन हाल ही में इसके व्यापक अनुप्रयोग संभावनाओं के कारण काफी ध्यान आकर्षित कर रहा है, विशेष रूप से डिजिटल अवतारों और 3डी एनीमेशन डिज़ाइन के लिए। इस व्यावहारिक मांग से प्रेरित होकर, कई कामों ने बोलते सिरों को संश्लेषित करने के लिए न्यूरल रेडियंस फ़ील्ड्स (NeRF) की खोज की। हालाँकि, NeRF पर आधारित इन विधियों को दो चुनौतियों का सामना करना पड़ता है: (1) शैली-नियंत्रित बोलते सिर उत्पन्न करने में कठिनाई। (2) रेंडर की गई छवियों में गर्दन के चारों ओर विस्थापन आर्टिफैक्ट्स। इन दो चुनौतियों को पार करने के लिए, हम एक नए जनरेटिव सिद्धांत एम्बेडेड प्रतिनिधित्व शिक्षण नेटवर्क (ERLNet) का प्रस्ताव करते हैं जिसमें दो शिक्षण चरण हैं। पहले, ऑडियो-चालित FLAME (ADF) मॉड्यूल का निर्माण किया जाता है ताकि सामग्री ऑडियो और शैली वीडियो के साथ समन्वयित चेहरे की अभिव्यक्ति और सिर की मुद्रा अनुक्रम उत्पन्न किया जा सके। दूसरे, ADF द्वारा निष्कर्षित अनुक्रम के आधार पर, एक नया डुअल-ब्रांच फ्यूज़न NeRF (DBF-NeRF) इन सामग्रियों का पता लगाता है ताकि अंतिम छवियों को रेंडर किया जा सके। व्यापक अनुभवात्मक अध्ययनों से यह साबित होता है कि इन दो चरणों का सहयोग हमारे तरीके को पूर्ववर्ती एल्गोरिदम की तुलना में एक अधिक यथार्थवादी बोलते सिर रेंडर करने में प्रभावी ढंग से सहायता करता है।