Key points are not available for this paper at this time.
أظهرت الأعمال السابقة قدرة مثيرة للنماذج اللغوية الكبيرة (LLMs) على استرجاع الحقائق ومعالجة معرفة السياق. ومع ذلك، لا يوجد سوى أبحاث محدودة حول القدرة على ترميز المعرفة على مستوى الطبقات في هذه النماذج، مما يحد من فهمنا للآليات الداخلية لها. في هذا البحث، نقدم المحاولة الأولى للتحقيق في القدرة على مستوى الطبقات للنماذج اللغوية الكبيرة من خلال مهام الاستكشاف. نستخدم القدرة التوليدية القوية لـ ChatGPT لبناء مجموعات بيانات استكشافية توفر أدلة متنوعة ومتسقة تتعلق بوقائع مختلفة. نستخدم معلومات V-usable كمقياس للتحقق يعكس بشكل أفضل القدرة على ترميز معرفة السياق عبر الطبقات المختلفة. تظهر تجاربنا على المعرفة المتضاربة والجديدة أن النماذج اللغوية الكبيرة: (1) تميل إلى ترميز مزيد من معرفة السياق في الطبقات العليا؛ (2) ترمز بشكل أساسي معرفة السياق ضمن رموز الكيانات المتعلقة بالمعرفة في الطبقات الدنيا مع توسع تدريجي للمعرفة ضمن رموز أخرى في الطبقات العليا؛ و(3) تنسى تدريجيًا معرفة السياق المبكرة المحتفظ بها في الطبقات الوسطى عند تقديم أدلة غير ذات صلة. الكود متاح علنًا على https: //github. com/Jometeorie/probingₗlama.
درس جو وآخرون (Sun,) هذا السؤال.