تدريب نماذج اللغة مع تعزيز الذاكرة

أحسنت الأعمال الأخيرة نماذج اللغة (LMs) بشكل ملحوظ من خلال تجهيزها بمكون ذاكرة غير بارامترية. ومع ذلك، فإن معظم الأساليب الحالية تقدم الذكريات فقط في وقت الاختبار أو تمثلها باستخدام مشفر مدرب بشكل منفصل، مما يؤدي إلى تدريب غير مثالي لنموذج اللغة. في هذا العمل، نقدم TRIME، وهي طريقة تدريب جديدة وبسيطة تهدف إلى تدريب LMs مع تعزيز الذاكرة. تستخدم طريقتنا هدف تدريب يأخذ مباشرةً أمثلة في الدفعة كذاكرة متاحة. نقدم أيضًا طرقًا جديدة لبناء الذاكرة وتجميع البيانات، والتي تُستخدم للتكيف مع مجموعات مختلفة من الذكريات—ذاكرة محلية، ذاكرة طويلة الأجل، وذاكرة خارجية—في وقت الاختبار. نقوم بتقييم TRIME على عدة معايير لنمذجة اللغة والترجمة الآلية ونظهر أنها قادرة على تحقيق Verbesserungen كبيرة عبر جميع الإعدادات. بشكل ملموس، تقلل TRIME من الالتباس من 18.70 إلى 15.37 على WIKITEXT-103، من خلال الاستفادة الفعالة من مجموعة ذاكرة كبيرة من مجموعة التدريب. مقارنةً بتدريب LM القياسي، تضيف TRIME عبئاً حوسبياً ضئيلاً وتتناسب مع مختلف الهياكل العصبية، مما يجعلها حلاً متعدد الاستخدامات لتدريب LMs المعززة بالذاكرة.