StoRM: भाषण संवर्धन और डेरिवरबरेशन के लिए एक प्रसार-आधारित यादृच्छिक पुनर्जनन मॉडल

प्रसार मॉडल ने भाषण संवर्धन के लिए भविष्यवाणी और जनरेटिव दृष्टिकोणों के बीच प्रदर्शन के अंतर को भरने में एक बड़ी क्षमता दिखाई है। हमने प्रदर्शित किया है कि वे गैर-परिशिष्ट शुल्क प्रकारों के लिए या जब उन्हें असंगत परिस्थितियों में मूल्यांकन किया जाता है तब भी अपने भविष्यवाणी समकक्षों को पार कर सकते हैं। हालांकि, प्रसार मॉडल में उच्च गणनात्मक बोझ होता है, मुख्य रूप से क्योंकि उन्हें प्रत्येक उल्टे प्रसार कदम के लिए एक न्यूरल नेटवर्क चलाने की आवश्यकता होती है, जबकि भविष्यवाणी दृष्टिकोण केवल एक पास की आवश्यकता होती है। चूंकि प्रसार मॉडल जनरेटिव दृष्टिकोण हैं, वे प्रतिकूल परिस्थितियों में वोकलाइज और सांस लेने के वस्त्र भी उत्पन्न कर सकते हैं। तुलना में, ऐसी कठिन परिस्थितियों में, भविष्यवाणी मॉडल आमतौर पर ऐसे वस्त्र उत्पन्न नहीं करते लेकिन इसके बजाय लक्षित भाषण को विकृत करने की प्रवृत्ति रखते हैं, जिससे भाषण की गुणवत्ता में गिरावट आती है। इस काम में, हम एक यादृच्छिक पुनर्जनन दृष्टिकोण प्रस्तुत करते हैं जहां भविष्यवाणी मॉडल द्वारा दी गई एक अनुमान आगे के प्रसार के लिए एक मार्गदर्शक के रूप में प्रदान की जाती है। हम दिखाते हैं कि प्रस्तावित दृष्टिकोण भविष्यवाणी मॉडल का उपयोग करके वोकलाइजिंग और सांस लेने के वस्त्रों को हटा देता है जबकि अत्यधिक उच्च गुणवत्ता के नमूने उत्पन्न करता है, धन्यवाद प्रसार मॉडल को, यहां तक कि प्रतिकूल परिस्थितियों में। हम आगे दिखाते हैं कि यह दृष्टिकोण कम प्रसार कदमों के साथ हल्के सैंपलिंग योजनाओं का उपयोग करने की अनुमति देता है बिना गुणवत्ता का त्याग किए, इस प्रकार गणनात्मक बोझ को एक क्रम के साथ हल्का करता है। स्रोत कोड और ऑडियो उदाहरण ऑनलाइन उपलब्ध हैं https://uhh.de/inf-sp-storm।