نموذج متوازي-هرمي لفهم الآلة على البيانات النادرة

فهم النص غير المنظم هو هدف رئيسي ضمن معالجة اللغة الطبيعية. تطرح اختبارات الفهم أسئلة بناءً على مقاطع نصية قصيرة لتقييم هذا الفهم. في هذا العمل، نبحث في فهم الآلة على معيار MCTest الصعب. بسبب حجمها المحدود جزئيًا، ركزت الأعمال السابقة على MCTest بشكل رئيسي على الهندسة لتحسين الميزات. نحن نتعامل مع مجموعة البيانات باستخدام نهج عصبي، نستفيد من شبكات عصبية بسيطة مرتبة في تسلسل هرمي متواز. يسمح هذا التسلسل الهرمي المتوازي لنموذجنا بمقارنة المقطع، السؤال، والإجابة من مجموعة متنوعة من الزوايا القابلة للتدريب، بدلاً من استخدام مجموعة ميزات مصممة يدويًا ومرنة. تتنوع الزوايا من مستوى الكلمة إلى أجزاء الجمل إلى تسلسلات الجمل؛ تعمل الشبكات فقط على تمثيلات النص الممثلة بالطريقة القائمة على الكلمات. عند تدريبها باستخدام منهجية مصممة لمساعدتنا في التعامل مع بيانات التدريب المحدودة، يحقق نموذجنا المتوازي-الهرمي مستوى جديد من الكفاءة لمعيار MCTest، متفوقًا على نهج الهندسة السابقة للميزات بشكل طفيف وعلى النهج العصبي السابق بفارق كبير (أكثر من 15\% مطلقة).