استكشاف قيود المحولات في المهام الحسابية البسيطة

تعتبر القدرة على أداء المهام الحسابية سمة بارزة من سمات الذكاء البشري، وقد تشكل مكونًا حاسمًا في المهام المنطقية الأكثر تعقيدًا. في هذا العمل، نستقصي ما إذا كان الشكل السطحي للرقم له أي تأثير على كيفية تعلم نماذج اللغة من تسلسل إلى تسلسل للمهام الحسابية البسيطة مثل الجمع والطرح عبر مجموعة واسعة من القيم. نجد أن كيفية تمثيل الرقم في شكله السطحي لها تأثير قوي على دقة النموذج. على وجه الخصوص، يفشل النموذج في تعلم جمع الأرقام ذات الخمسة أرقام عند استخدام الكلمات الفرعية (مثل: "32")، ويعاني من صعوبة في التعلم باستخدام تمثيلات مستوى الحرف (مثل: "3 2"). من خلال إدخال رموز الموضع (مثل: "3 10e1 2")، يتعلم النموذج كيفية الجمع والطرح بدقة مع الأرقام حتى 60 رقمًا. نستنتج أن نماذج اللغة الحديثة المدربة مسبقًا يمكنها بسهولة تعلم الحساب من أمثلة قليلة جدًا، طالما استخدمنا التمثيل السطحي المناسب. تعزز هذه النتيجة الأدلة على أن موصلات الكلمات الفرعية والترميز المكاني هي مكونات في تصميمات المحولات الحالية التي قد تحتاج إلى تحسين. علاوة على ذلك، نوضح أنه بغض النظر عن عدد المعلمات وأمثلة التدريب، لا يمكن للنماذج تعلم قواعد الجمع التي تعتمد على طول الأرقام التي تم مشاهدتها أثناء التدريب. الرمز لإعادة إنتاج تجاربنا متاح على https://github.com/castorini/transformers-arithmetic