الإدراك الرمزي الناشئ في نماذج اللغة الكبيرة عبر كبسولات الذاكرة

تظهر نماذج اللغة الكبيرة (LLMs) كفاءة لغوية قوية لكنها تعمل بطريقة غير حالية، مما يحد من قدرتها على الحفاظ على سياق إجرائي منظم عبر التفاعلات. نقدم لغة الذاكرة Cryptid (CML)، وهي قواعد نحوية رسمية خالية من السياق مصممة لتشفير الأحداث الإجرائية، القيود التفسيرية وانتقالات الحالة القائمة على القواعد كأدوات خارجية مدمجة. يتم تعبئة أدوات CML في كبسولات معيارية تحتوي على مواصفات القواعد النحوية، ومعلمات جينوم رمزية اختيارية وسجل منظم من السجلات الرمزية. عند حقنها في جلسات LLM غير الحالة، توفر هذه الكبسولات هيكل إجرائي خارجي يمكن إعادة تحليله وإعادة تطبيقه عبر الموجهات، مما يمكّن من تحولات قابلة للتكرار في هيكل الاستدلال دون تعديل أوزان النموذج أو الاعتماد على الذاكرة الداخلية المستمرة. من خلال دراسات إلغاء التحكم والتقييمات عبر النماذج، نظهر أن السجلات المنظمة CML، وليس طول الموجهات أو الإطار السردي، هي المسؤولة عن الفروق الملحوظة في سلوك حل المشكلات، الالتزام بالقواعد ومخرجات الاستدلال المنظمة. تعمل معلمات الجينوم كمنظمات ثانوية، تؤثر على النمط والتحيز التفسيري ولكن لا تؤثر على الوظائف الأساسية. نوضح أيضًا أن كبسولات CML قابلة للنقل عبر بنى LLM غير المتجانسة، مما ينتج أنماط قياسية وقابلة للقياس من التعبير الرمزي. الإسهام الرئيسي في هذا العمل هو تدوين CML كقواعد رمزية لتشفير الحالة الإجرائية. تعمل التجارب القائمة على الكبسولات كحقل اختبار لتقييم الجدوى والأثر السلوكي للذاكرة الإجرائية الرمزية الخارجية في نشرات LLM غير الحالة بعد التدريب.