Key points are not available for this paper at this time.
تتبع نماذج اللغة المستندة إلى المحولات (LMs) المعلومات السياقية من خلال نوافذ إدخال كبيرة، مشفرة بشكل ثابت. نقدم MemoryPrompt، وهي نهج أخف حيث تكمل الشبكة العصبونية المتكررة الصغيرة النموذج اللغوي عن طريق تمرير المعلومات إلى النموذج اللغوي من خلال إضافة تسلسل من المتجهات إلى إدخالها العادي، مشابهًا للمطالبات اللينة، دون الحاجة إلى إعادة ضبط النموذج. تم اختبار ذلك على مهمة مصممة لاستكشاف قدرة النموذج اللغوي على تتبع تحديثات الحقائق المتعددة، حيث يتفوق النموذج اللغوي المعزز بـMemoryPrompt على نماذج لغوية أكبر بكثير التي لديها وصول إلى تاريخ الإدخال الكامل. كما اختبرنا MemoryPrompt على مجموعة بيانات المحادثة طويلة المدى، حيث كانت أداؤه قابلاً للمقارنة مع نموذج مشروط على تاريخ المحادثة بالكامل. في كلا التجربتين لاحظنا أيضًا أنه، على عكس النهج التي تتطلب إعادة الضبط الكاملة، لا يعاني MemoryPrompt من النسيان الكارثي عند التكيف مع مهام جديدة، وبالتالي لا ي disrupt القدرات العامة للنموذج اللغوي الأساسي.
درس راكوتونيرينا وآخرون (الجمعة) هذا السؤال.