نماذج التسلسل إلى التسلسل يمكن أن تترجم الكلام الأجنبي مباشرة

نقدم بنية شبكة عصبية عميقة من نوع المشفر-المفكك تكرارية تترجم الكلام في لغة واحدة مباشرة إلى نص في أخرى. النموذج لا يقوم بتحويل الكلام إلى نص في اللغة المصدر بشكل صريح، كما لا يتطلب إشرافًا من النسخة النصية الحقيقية للغة المصدر أثناء التدريب. نطبق بنية تسلسل إلى تسلسل مع تحسين طفيف تم استخدامها سابقًا في التعرف على الكلام، ونظهر أنه يمكن إعادة استخدامها لهذه المهمة الأكثر تعقيدًا، مما يوضح قوة النماذج المعتمدة على الانتباه. يحصل نموذج واحد تم تدريبه بشكل كامل على أداء متفوق في مهمة ترجمة الكلام الإسباني-الإنجليزي في Fisher Callhome، متفوقًا على مجموعة من نماذج التعرف على الكلام ونماذج الترجمة الآلية المدربة بشكل مستقل بمقدار 1.8 نقطة BLEU على مجموعة اختبار Fisher. بالإضافة إلى ذلك، نجد أن الاستفادة من بيانات التدريب في كلا اللغتين من خلال تدريب نماذج الترجمة والتعرف على الكلام بشكل متعدد المهام مع شبكة مشفرة مشتركة يمكن أن تحسن الأداء بمقدار 1.4 نقطة BLEU إضافية.