LSTM: أوديسة فضاء البحث

تم اقتراح عدة متغيرات من بنية الذاكرة الطويلة القصيرة (LSTM) للشبكات العصبية المتكررة منذ بدايتها في عام 1995. في السنوات الأخيرة، أصبحت هذه الشبكات نماذج رائدة لمجموعة متنوعة من مشاكل التعلم الآلي. وقد أدى ذلك إلى تجديد الاهتمام في فهم الدور والفائدة من المكونات الحسابية المختلفة للمتغيرات الشائعة من LSTM. في هذه الورقة، نقدم أول تحليل على نطاق واسع لثمانية متغيرات من LSTM على ثلاث مهام تمثيلية: التعرف على الكلام، التعرف على الكتابة اليدوية، ونمذجة الموسيقى متعددة الأصوات. تم تحسين معلمات الـ LSTM لجميع المتغيرات لكل مهمة بشكل منفصل باستخدام البحث العشوائي، وتم تقييم أهميتها باستخدام إطار تحليل التباين الوظيفي القوي. في المجمل، نستعرض نتائج 5400 تجربة (≈ 15 سنة من وقت وحدة المعالجة المركزية)، مما يجعل دراستنا الأكبر من نوعها على شبكات LSTM. تظهر نتائجنا أن أي من المتغيرات لا يمكن أن يحسن بشكل كبير على بنية LSTM القياسية، وتوضح أن بوابة النسيان ودالة تنشيط المخرجات هما أكثر مكوناتها حيوية. كما نلاحظ أن معلمات البحث المدروسة مستقلة تقريبًا ونستخلص إرشادات لتعديلها بكفاءة.