تقدم هذه الورقة نظرة عامة على مهمة تقييم الحوار NTCIR-16 (DialEval-2). DialEval-2 هو خليفة مهمة NTCIR-15 DialEval-1 ومهمة NTCIR-14 Short Text Conversation STC-3. تتكون DialEval-2 من مهمتين فرعيتين: المهمة الفرعية لجودة الحوار (DQ) والمهمة الفرعية لاكتشاف اللآلئ (ND). تم تصميم كل من المهمتين الفرعيتين بهدف تقييم تلقائي لحوارات مساعدة العملاء. تتطلب المهمة الفرعية DQ من المشاركين تقدير ثلاثة أنواع من درجات الجودة لكل حوار: إنجاز المهمة، رضا العميل، وفعالية الحوار. تم تحديد المهمة الفرعية ND كمهمة تصنيف، حيث يُطلب من المشاركين تصنيف كل دور في الحوار للكشف عن أدوار اللآلئ. تشير اللؤلؤة إلى دور يكون مفيداً في حل المشكلة ضمن الحوار. في هذه الورقة، نقدم تعريف المهمة، جمع البيانات، مقاييس التقييم، والنتائج الرسمية للتقييم على العروض المقدمة من فرق المشاركين.
درس تاو وآخرون (الثلاثاء) هذا السؤال.