التحويل التبايني الفوري: استراتيجية محسّنة لنقل فعّال للتوجيه في معالجة اللغة الطبيعية

الملخص: يعد نقل التوجيه طريقة من طرق التعلم بالنقل تعتمد على ضبط التوجيه، مما يعزز أداء المعلمات في المهام المستهدفة من خلال نقل تشفيرات التوجيه المصدر. من بين الطرق الموجودة، يعتبر التجميع الموزون فعالاً ويمتاز بكونه خفيف الوزن وقابلًا للتعديل. ومع ذلك، قد تنقل هذه الطرق معلومات زائدة أو غير ذات صلة من التوجيهات المصدر إلى التوجيه الهدف، مما يؤدي إلى آثار سلبية. للتخفيف من هذه المشكلة، نقترح تحويل التباين الفوري (PCT)، الذي يحقق نقلًا فعالًا للتوجيه من خلال تحويل التباين الفوري والدمج الانتباهي. يقوم PCT بتحويل التوجيه المصدر إلى تشفيرات غير مرتبطة بالمهام وتشفيرات محددة بالمهام من خلال تحليل القيمة الفردية والتعلم التبايني، مما يقلل من الازدواجية المعلوماتية بين التوجيهات المصدر. يقوم وحدة الانتباه في PCT باختيار تشفيرات محددة بالمهام بشكل أكثر فعالية ودمجها مع التشفير غير المرتبط بالمهام في التوجيه الهدف. تظهر نتائج التجارب أنه، على الرغم من ضبط 0.035% فقط من المعلمات الخاصة بالمهام، يحقق PCT تحسينات في نقل التوجيه لتكيف المهمة المستهدفة الفردية عبر مهام NLP المختلفة.