भाषा मॉडल कुछ संज्ञानात्मक प्रोफाइल का अनुकरण करते हैं: एक जांच कि कैसे भविष्यवाणी के उपाय व्यक्तिगत भिन्नताओं के साथ इंटरैक्ट करते हैं

आज तक, पढ़ाई में अत्याचार और एंट्रॉपी प्रभावों पर अधिकांश जांच समूह स्तर पर की गई हैं, व्यक्तिगत भिन्नताओं की अनदेखी करते हुए। इस काम में, हम मानव पढ़ने के समय के डेटा पर विभिन्न भाषा मॉडलों (LMs) से अनुमानित अत्याचार और एंट्रॉपी उपायों की भविष्यवाणी की शक्ति को फिर से परखते हैं, जो भाषा उपयोगकर्ताओं की संज्ञानात्मक क्षमताओं की जानकारी को शामिल करते हैं। ऐसा करने के लिए, हम उन व्यक्तियों के पढ़ने के डेटा पर जनरेटिव LMs से अनुमानित अत्याचार और एंट्रॉपी की भविष्यवाणी की शक्ति का मूल्यांकन करते हैं, जिन्होंने एक विस्तृत श्रृंखला के मनोवैज्ञानिक परीक्षण भी पूरे किए। विशेष रूप से, हम यह जांचते हैं कि क्या संज्ञानात्मक स्कोर के मुकाबले अत्याचार और एंट्रॉपी को समायोजन करने से पढ़ने के समय की भविष्यवाणी की सटीकता बढ़ती है, और हम यह examine करते हैं कि क्या LMs संज्ञानात्मक रूप से उच्च या निम्न प्रदर्शन करने वाले समूहों के लिए पढ़ने के समय की भविष्यवाणी में प्रणालीगत पूर्वाग्रह प्रदर्शित करते हैं, यह प्रकट करते हुए कि एक विशेष LM किस प्रकार के मनोभाषाई विषय का अनुकरण करता है। हमारा अध्ययन यह पता लगाता है कि अधिकांश मामलों में, संज्ञानात्मक क्षमताओं को शामिल करने से पढ़ने के समय पर अत्याचार और एंट्रॉपी की भविष्यवाणी की शक्ति बढ़ती है, और सामान्यतः, मनोवैज्ञानिक परीक्षणों में उच्च प्रदर्शन को भविष्यवाणी के प्रभावों के प्रति कम संवेदनशीलता के साथ जोड़ता है। अंततः, हमारे परिणाम इस बात का सुझाव देते हैं कि विश्लेषित LMs उन पाठकों का अनुकरण करते हैं जिनकी मौखिक बुद्धिमत्ता कम होती है, जिससे यह सुझाव मिलता है कि एक दिए गए लक्षित समूह (यानी, उच्च मौखिक बुद्धिमत्ता वाले व्यक्ति) के लिए, ये LMs कम सटीक भविष्यवाणी अनुमान प्रदान करते हैं।