التدريب الذاتي لترجمة الكلام من البداية إلى النهاية

تُعتبر ندرة البيانات واحدة من التحديات الرئيسية لترجمة الكلام من البداية إلى النهاية. نحن نستغل التسميات الزائفة التي تم إنشاؤها من الصوت غير المعنون بواسطة نموذج شلال ونموذج ترجمة كلام من البداية إلى النهاية. يوفر هذا تحسينات تصل إلى 8.3 و5.7 في درجات BLEU مقارنةً بقاعدة قوية شبه مشروطة على مجموعات بيانات MuST-C الخاصة بالإنجليزية-الفرنسية والإنجليزية-الألمانية، مما يصل إلى أداء متفوق. تم دراسة تأثير جودة التسميات الزائفة. يظهر نهجنا أنه أكثر فعالية من مجرد تدريب مشفر مسبقاً على مهمة التعرف على الكلام. أخيرًا، نوضح فعالية التدريب الذاتي من خلال إنشاء التسميات الزائفة مباشرةً باستخدام نموذج من البداية إلى النهاية بدلاً من نموذج الشلال.