विभाजित अदृश्य आत्म-निगरानी प्रतिनिधित्व से भाषण पुनर्संकरन

हम पुनर्संकरन के कार्य के लिए आत्म-निगरानी विभाजित प्रतिनिधित्व का उपयोग करने का प्रस्ताव रखते हैं। विभाजित प्रतिनिधित्व उत्पन्न करने के लिए, हम भाषण सामग्री, प्रोसोदिक जानकारी, और वक्ता की पहचान के लिए अलग-अलग निम्न-बिटरेट प्रतिनिधित्व का उपयोग करते हैं। यह नियंत्रित तरीके से भाषण का सृजन करना संभव बनाता है। हम विभिन्न अत्याधुनिक आत्म-निगरानी प्रतिनिधित्व विधियों का विश्लेषण करते हैं और पुनर्निर्माण गुणवत्ता और विभाजन गुणों के संदर्भ में प्रत्येक विधि के लाभों पर प्रकाश डालते हैं। हम F0 पुनर्निर्माण, वक्ता पहचान (दोनों पुनर्संकरन और आवाज़ रूपांतरण के लिए), रिकॉर्डिंग की गुणवत्ता, और समग्र गुणवत्ता का मूल्यांकन करते हैं, जो विषयात्मक मानव मूल्यांकन का उपयोग करते हैं। अंत में, हम प्रदर्शित करते हैं कि ये प्रतिनिधित्व कैसे एक अल्ट्रा-हल्के कोडेक के लिए उपयोग किए जा सकते हैं। प्राप्त प्रतिनिधित्वों का उपयोग करके, हम प्रति सेकंड 365 की दर पर पहुँच सकते हैं जबकि आधार रेखा की तुलना में बेहतर भाषण गुणवत्ता प्रदान करते हैं। ऑडियो नमूने निम्नलिखित लिंक के अंतर्गत पाए जा सकते हैं: . github. io/resynthesis.