التحويل الدقيق لتعلم السياق إلى أوزان النموذج في المحولات ذات الانتباه الخطّي

لقد كان تعلم السياق (ICL) خاصية طاغية جديدة لنماذج اللغة الكبيرة التي جذبت انتباهًا متزايدًا في السنوات الأخيرة. على عكس التعلم القائم على التدرج العادي، فإن ICL قابل للتفسير للغاية ولا يتطلب تحديثات للمعلمات. في هذه الورقة، نظهر أنه بالنسبة لشبكات المحولات الخطية، يمكن جعل ICL صريحًا ودائمًا من خلال تضمين مصطلحات الانحياز. نثبت رياضيًا تعادل النموذج مع موجهات عرض ICL والنموذج نفسه مع مصطلحات الانحياز الإضافية. تتيح خوارزميتنا (ICLCA) تحويلًا دقيقًا بطريقة غير مكلفة. الطرق الحالية ليست دقيقة وتتطلب تحديثات مكلفة للمعلمات. نوضح فعالية نهجنا من خلال تجارب تظهر الإدماج الدقيق لرموز ICL في المحول الخطّي. نقترح أيضًا كيف يمكن تعديل طريقتنا لتحقيق تحويل تقريبي غير مكلف لرموز ICL، حتى في شبكات المحولات العادية التي ليست خطية. تظهر تجاربنا على GPT-2 أنه على الرغم من أن التحويل تقريبي فقط، إلا أن النموذج لا يزال يحصل على سياق قيم من مصطلحات الانحياز المضمنة.