Key points are not available for this paper at this time.
نقدم نهج تعلم عميق بسيط وفعال لتوليد رسوم متحركة طبيعية للكلام تتم مزامنتها مع الكلام المدخل. يستخدم نهجنا متنبئًا ذو نافذة منزلقة يتعلم تعيينات غير خطية عشوائية من تسلسل تسميات الفونيم إلى حركات الفم بطريقة تلتقط الحركة الطبيعية وتأثيرات التداخل المرئي بدقة. يتمتع نهج التعلم العميق الخاص بنا بعدة خصائص جذابة: فهو يعمل في الوقت الحقيقي، ويتطلب الحد الأدنى من ضبط المعلمات، ويعمم بشكل جيد على تسلسلات الكلام المدخل الجديدة، ويمكن تعديله بسهولة لإنشاء كلام بأسلوب عاطفي، ومتوافق مع نهج إعادة توجيه الرسوم المتحركة الموجودة. أحد التركيزات المهمة في عملنا هو تطوير نهج فعال لرسوم متحركة للكلام يمكن دمجه بسهولة في خطوط الإنتاج الحالية. نقدم وصفًا تفصيليًا لنهجنا من البداية إلى النهاية، بما في ذلك قرارات تصميم التعلم الآلي. ويتم عرض نتائج رسوم متحركة للكلام العامة على مجموعة واسعة من مقاطع الرسوم المتحركة على مجموعة متنوعة من الشخصيات والأصوات، بما في ذلك الغناء والمدخلات بلغة أجنبية. يمكن لنهجنا أيضًا توليد رسوم متحركة للكلام عند الطلب في الوقت الحقيقي من مدخلات الكلام الخاصة بالمستخدم.
درس تايلور وآخرون (الخميس) هذا السؤال.