نموذج معزز عميق للتلخيص التجريدي

حققت نماذج التشفير-فك التشفير القائمة على RNN مع الانتباه أداءً جيدًا على تسلسلات الإدخال والإخراج القصيرة في التلخيص التجريدي. ومع ذلك، تحتوي هذه النماذج غالبًا على عبارات متكررة وغير متماسكة في حال الوثائق والمُلخصات الأطول. نقدم نموذج شبكة عصبية مع انتباه داخلية مبتكرة يركز على الإدخال والإخراج الناتج بشكل منفصل، وطريقة تدريب جديدة تجمع بين التنبؤ بالكلمات المدعوم بالإشراف والتعلم المعزز (RL). عادة ما تظهر النماذج المدربة فقط بالتعلم الخاضع للإشراف "تحيز التعرض" - حيث تفترض توافر الحقيقة الأساسية في كل خطوة أثناء التدريب. ولكن عند دمج التنبؤ بالكلمات القياسي مع تدريب التنبؤ بالتسلسل الكلي في RL تصبح الملخصات الناتجة أكثر قابلية للقراءة. نقيم هذا النموذج على مجموعات بيانات CNN/Daily Mail وNew York Times. يحصل نموذجنا على نتيجة ROUGE-1 بمقدار 41.16 على مجموعة بيانات CNN/Daily Mail، مما يعد تحسنًا على النماذج السابقة المتقدمة. كما يظهر التقييم البشري أن نموذجنا يُنتج ملخصات ذات جودة أعلى.