सहायक कार्य की मांगें छोटे भाषा मॉडल की क्षमताओं को छिपाती हैं

विकासात्मक मनोवैज्ञानिकों ने तर्क किया है कि संज्ञानात्मक क्षमताएँ जैसे कि भाषा समझ या मन की थ्योरी कब उभरती हैं। ये बहसें अक्सर "कार्य की मांग" की अवधारणा पर आधारित होती हैं - एक विशेष मूल्यांकन करने से संबंधित सहायक चुनौतियाँ - जो बच्चे की अंतर्निहित क्षमता को छिपा सकती हैं। भाषा मॉडल (LMs) की क्षमताओं को मापने में भी समान मुद्दे उत्पन्न होते हैं: एक कार्य पर प्रदर्शन मॉडल की अंतर्निहित योग्यता का कार्य है, जिसे मॉडल की उस कार्य को व्याख्या और प्रदर्शन करने की क्षमता के साथ मिलाया जाता है, जो उसके उपलब्ध संसाधनों के आधार पर होती है। यहाँ, हम दिखाते हैं कि अनुकरणीय तर्क, विचारशील तर्क, शब्द पूर्वानुमान, और व्याकरणिकता के निर्णयों के लिए, अधिक कार्य की मांग वाले मूल्यांकन तरीकों का प्रदर्शन उन मूल्यांकनों की तुलना में कम होता है जिनमें मांगें कम होती हैं। यह "मांग अंतर" उन मॉडलों के लिए सबसे स्पष्ट है जिनमें कम पैरामीटर और कम प्रशिक्षण डेटा हैं। हमारे परिणाम प्रदर्शित करते हैं कि LM प्रदर्शन को बुद्धिमत्ता (या इसके अभाव) के प्रत्यक्ष संकेत के रूप में नहीं समझा जाना चाहिए, बल्कि शोधकर्ताओं के डिज़ाइन विकल्पों के माध्यम से देखी गई क्षमताओं के रूप में होना चाहिए।