Key points are not available for this paper at this time.
لقد أنتجت الأساليب المستندة إلى الشبكات العصبية مؤخراً أداءً قياسياً في مهام فهم اللغة الطبيعية مثل تصنيف الكلمات. في مهمة تصنيف الكلمات، يتم استخدام مُصنِّف لتعيين علامة لكل كلمة في تسلسل المدخلات. على وجه الخصوص، أظهرت الشبكات العصبية المتكررة البسيطة (RNNs) والشبكات العصبية التلافيفية (CNNs) تفوقاً كبيراً على الحالة السابقة الأفضل - الحقول العشوائية الشرطية (CRFs). تبحث هذه الورقة في استخدام الشبكات العصبية للذاكرة طويلة وقصيرة المدى (LSTM) التي تحتوي على بوابات الإدخال والإخراج والنسيان، والتي هي أكثر تطورًا من RNNs البسيطة، لمهمة تصنيف الكلمات. لنموذج الاعتماد على علامة الإخراج بشكل صريح، نقترح نموذج انحدار فوق درجات LSTM غير العادية. كما نقترح تطبيق LSTM العميق على المهمة. لقد بحثنا في الأهمية النسبية لكل بوابة في LSTM من خلال تعيين البوابات الأخرى إلى ثابت والتعلم فقط من بوابات معينة. وقد تحقق التجارب على مجموعة بيانات ATIS من فعالية النماذج المقترحة.
درس ياو وآخرون (Mon,) هذا السؤال.