Key points are not available for this paper at this time.
بينما يمكن أن تحفز الشبكات العصبية المتكررة نمذجة اللغة عبر الجمل وتطبيقها على التعرف التلقائي على الكلام (ASR)، نادرًا ما يتم مناقشة التعديلات المقابلة لطريقة التدريب لهذا الغرض. في الواقع، بشكل أكثر عمومية، يتم تجاهل تأثير استراتيجية بناء تسلسل التدريب في نمذجة اللغة لظروف التقييم المختلفة. في هذا العمل، قمنا بإعادة النظر في هذا السؤال الأساسي ولكنه جوهري. نقوم بتدريب نماذج اللغة بناءً على الشبكات العصبية المتكررة ذي الذاكرة القصيرة والطويلة (LSTM) وTransformers باستخدام أنواع مختلفة من تسلسل التدريب وندرس متانتها بالنسبة لوضعيات التقييم المختلفة. تظهر تجاربنا على مجموعات بيانات Switchboard وQuaero الإنجليزية بمدة 300 ساعة أن النماذج التي تم تدريبها بالتغذية العكسية عبر تسلسلات تتكون من ارتباط عدة جمل مع استمرار الحالة عبر التسلسلات تتفوق بشكل فعال على تلك المدربة على مستوى الجمل، سواء من حيث التعقيد ومعدلات أخطاء الكلمات للتعرف التلقائي على الكلام عبر المداخل.
درس إيري وآخرون (Sun،) هذا السؤال.