PAVITS: استكشاف VITS المدرك للبروودة لتحويل الصوت العاطفي من النهاية إلى النهاية

في هذه الورقة، نقترح VITS المدرك للبروودة (PAVITS) لتحويل الصوت العاطفي (EVC)، بهدف تحقيق هدفين رئيسيين من EVC: عفوية عالية للمحتوى وعفوية عالية للعواطف، وهي أمور حاسمة لتلبية متطلبات الإدراك البشري. لتحسين العفوية للمحتوى لمقاطع الصوت المحولة، قمنا بتطوير بنية EVC من النهاية إلى النهاية مستوحاة من الجودة العالية للصوت في VITS. من خلال الدمج السلس لمحول صوتي وفوكودر، نعالج بفعالية المشكلة الشائعة المتمثلة في عدم التوافق بين تدريب البروودة العاطفية والتحويل في الوقت الفعلي، وهو أمر شائع في نماذج EVC الحالية. لتعزيز العفوية العاطفية بشكل أكبر، نقدم موصوف عاطفي لنمذجة التغيرات الدقيقة في بروودة مشاعر الكلام المختلفة. بالإضافة إلى ذلك، نقترح متنبئ للبروودة، الذي يتنبأ بميزات البروودة من النص بناءً على العلامة العاطفية المقدمة. ومن الملاحظ أننا نقدم خسارة محاذاة البروودة لإنشاء اتصال بين ميزات البروودة الكامنة منModalities مميزة، مما يضمن تدريبًا فعالًا. تظهر النتائج التجريبية أن أداء PAVITS يتفوق على أحدث طرق EVC.