تدريب مشترك متكيف للمتحدث باستخدام نماذج خليط غاوسي وميزات البوتلينك

في النهج المتزامن، يمثل مخرج الشبكة العصبية (NN) مدخلات للميزات في نموذج خليط غاوسي (GMM) بهدف تحسين تقديرات احتمالية الانبعاث. كما أظهر عملنا السابق، يمكن دمج GMM مع مصفوفة التغاير المجمعة في إطار شبكة عصبية كطبقة softmax مع متغيرات مخفية، مما يسمح بالتقدير المشترك لكل من شبكة الأعصاب ومعلمات خليط غاوسي. هنا، يتم توسيع هذا النهج ليشمل تدريب متكيف مع المتحدث (SAT) من خلال تقديم طبقة شبكة عصبية تعتمد على المتحدث. تؤدي عودة الأخطاء بعد هذه الطبقة المعتمدة على المتحدث إلى تحقيق التدريب التكيفي لمعاملات غاوسي وكذلك تحسين ميزات البوتلينك (BN) لنموذج الصوت الأساسي، بشكل متزامن. في هذه الدراسة، بعد التهيئة بواسطة الانحدار الخطي الأقصى القياسي المقيد (CMLLR)، تُ保持 طبقة المعتمد على المتحدث ثابتة خلال التدريب المشترك. تظهر التجارب أن عودة الأخطاء الأعمق من خلال طبقة المعتمد على المتحدث ضرورية لتحسين أداء التعرف. ينتج عن نموذج BN-GMM المدرب بشكل مشترك ومتكيف مع المتحدث تحسينًا نسبيًا قدره 5% مقارنةً بأساس هجين مستقل عن المتحدث قوي جدًا في مهمة الأخبار والمحادثات الإنجليزية على Quaero ومهمة Switchboard التي تستغرق 300 ساعة.