طرق فعالة للترجمة الآلية العصبية المعتمدة على الانتباه

تم استخدام آلية الانتباه مؤخرًا لتحسين الترجمة الآلية العصبية (NMT) من خلال التركيز الانتقائي على أجزاء من جملة المصدر أثناء الترجمة. ومع ذلك، لم يتم استكشاف الكثير من الأعمال التي تبحث في البنى المفيدة للترجمة الآلية العصبية المعتمدة على الانتباه. تفحص هذه الورقة فئتين بسيطتين وفعالتين من آلية الانتباه: نهج شامل ينتبه دائمًا إلى جميع كلمات المصدر ونهج محلي ينظر فقط إلى مجموعة فرعية من كلمات المصدر في كل مرة. نُظهر فعالية كلا النهجين على مهام الترجمة WMT بين الإنجليزية والألمانية في كلا الاتجاهين. باستخدام الانتباه المحلي، نحقق زيادة ملحوظة بمقدار 5.0 نقاط BLEU مقارنة بالأنظمة غير المعتمدة على الانتباه التي تدمج بالفعل تقنيات معروفة مثل dropout. نموذج التجميع لدينا باستخدام هياكل مختلفة للانتباه يحقق نتيجة جديدة تُعد الأفضل في مهمة الترجمة من الإنجليزية إلى الألمانية في WMT'15 بـ 25.9 نقطة BLEU، وهو تحسن بمقدار 1.0 نقطة BLEU عن أفضل نظام موجود يعتمد على NMT وreranker للن-غرام.