टेक्स्ट-जनित और संदर्भ-जनित भावपूर्ण ऑडियोबुक ऑडियो सिंथेसिस

पाठ-से-स्वर में हालिया प्रगति ने सिंथेटिक स्वर की अभिव्यंजकता में काफी सुधार किया है।हालांकि, एक बड़ा चुनौती यह है कि ऐसी भाषण उत्पन्न करना जो ऑडियोबुक में पेशेवर कथाकारों द्वारा प्रदर्शित विविध शैलियों को पकड़ सके, बिना मैनुअल लेबल या संदर्भ भाषण के। इसे हल करने के लिए, हम अभिव्यक्तिशील ऑडियोबुक भाषण सिंथेसिस के लिए एक टेक्स्ट-जनित और संदर्भ-जनित (TACA) शैली मॉडलिंग दृष्टिकोण का प्रस्ताव करते हैं। हम पहले टेक्स्ट-जनित शैली स्थान स्थापित करते हैं ताकि विभिन्न शैलियों को स्पीच-शैली स्थान के पर्यवेक्षण के साथ कंट्रास्टिव लर्निंग के माध्यम से कवर किया जा सके। इस बीच, हम क्रॉस-वाक्य जानकारी और टेक्स्ट से प्राप्त शैली एम्बेडिंग को शामिल करने के लिए एक संदर्भ एन्कोडर को अपनाते हैं। अंततः, हम संदर्भ एन्कोडर को दो विशिष्ट TTS मॉडलों में शामिल करते हैं, जिसमें VITS-आधारित TTS और भाषा मॉडल-आधारित TTS शामिल हैं। प्रयोगात्मक परिणाम दिखाते हैं कि हमारा प्रस्तावित दृष्टिकोण प्रभावी ढंग से विविध शैलियों और सुसंगत प्रोसोडी को पकड़ सकता है, और इस प्रकार ऑडियोबुक भाषण सिंथेसिस में स्वाभाविकता और अभिव्यंजकता में सुधार कर सकता है।