نمذجة أفعال الحوار لتصنيف وتعرف تلقائي على الكلام الحواري

نصف نهجًا إحصائيًا لنمذجة أفعال الحوار في الكلام الحواري، أي وحدات مشابهة لفعل الكلام مثل البيان، السؤال، قناة الرجوع، الاتفاق، الاختلاف، والاعتذار. يقوم نموذجنا بالكشف عن أفعال الحوار والتنبؤ بها بناءً على إشارات لغوية واصطفائية وثراء صوتي، فضلاً عن تماسك الخطاب لسلسلة أفعال الحوار. يعتمد نموذج الحوار على معالجة بنية الخطاب لمحادثة كنموذج ماركوف المخفي وتعتبر أفعال الحوار الفردية ملاحظات تنبع من حالات النموذج. يتم نمذجة القيود على التسلسل المحتمل لأفعال الحوار من خلال n-gram لفعل الحوار. يتم دمج القواعد الحوارية الإحصائية مع n-grams للكلمات، وأشجار القرار، والشبكات العصبية التي نمذجة المظاهر اللغوية والثراء الصوتي الفريدة لكل فعل حوار. نحن نطور تكاملًا احتماليًا للتعرف على الكلام مع نمذجة الحوار، لتحسين كل من دقة التعرف على الكلام وتصنيف أفعال الحوار. يتم تدريب النماذج وتقييمها باستخدام قاعدة بيانات كبيرة مصنفة يدويًا تحتوي على 1،155 محادثة من مجموعة بيانات Switchboard للكلام البشري العفوي عبر الهاتف. حققنا دقة جيدة في تصنيف أفعال الحوار (65% بناءً على الكلمات المعترف بها تلقائيًا والمليئة بالأخطاء والثراء الصوتي، و71% بناءً على سجلات الكلمات، مقارنةً بدقة خط الأساس العشوائية البالغة 35% ودقة البشر البالغة 84%) وانخفاض طفيف في خطأ التعرف على الكلمات.