من RNNs إلى BERT: مراجعة للنماذج العصبية لتعلم التسلسلات

يعد تعلم بيانات التسلسل أمرًا مهمًا في مجالات التعلم الآلي، بما في ذلك التعرف على الصوت ومعالجة اللغة الطبيعية وتوقع السلاسل الزمنية. تم طرح طرق مختلفة في السنوات الأخيرة لإدارة هذه المهام. كانت النماذج الأولى مثل الشبكات العصبية المتكررة (RNN) قادرة على معالجة المعلومات المتسلسلة لكنها واجهت مشاكل التدرجات المتلاشية والمفجرة. تم معالجة هذه المشكلات في نهاية المطاف مع تقديم الذاكرة قصيرة وطويلة الأجل (LSTM) ووحدة التكرار المغلقة (GRU)، مما عزز القدرة على تعلم التبعيات طويلة الأجل. أدت اقتراحات آليات الانتباه إلى تحسين أداء GRU ودفعت نموذج المحول لاستبدال التكرار بالانتباه، مما جعل التدريب أسرع وأكثر فعالية للبيانات على نطاق واسع. علاوة على ذلك، استخدم BERT طرق ما قبل التدريب والتخصيص التي جلبت تحسينًا ملحوظًا في العديد من مهام معالجة اللغة الطبيعية. تستعرض هذه الورقة تطور هذه النماذج، وتقدم آليات كل نموذج، وتقارن نقاط قوتها وضعفها، وأخيرًا تناقش التحديات التي لا تزال قائمة.