संभावनाओं के परे: बड़े भाषा मॉडल के मूल्यांकन में असंगति को उजागर करना

बड़े भाषा मॉडल (LLMs) ने विभिन्न अनुप्रयोगों में असाधारण क्षमताओं का प्रदर्शन किया है, जिसने प्राकृतिक भाषा संसाधन (NLP) अनुसंधान के क्षेत्र को मौलिक रूप से बदल दिया है। हालाँकि, हाल के मूल्यांकन ढांचे अक्सर LLMs के पूर्वानुमान के लिए आउटपुट संभावनाओं पर निर्भर करते हैं, मुख्य रूप से कम्प्यूटेशनल सीमाओं के कारण, जो वास्तविक दुनिया की LLM उपयोग स्थितियों से भटक जाता है। जबकि ये व्यापक रूप से उपयोग किए जाते हैं, इन संभावना-आधारित मूल्यांकन रणनीतियों की प्रभावकारिता एक खुला अनुसंधान प्रश्न बनी हुई है। यह अध्ययन ऐसे संभावना-आधारित मूल्यांकन विधियों की वैधता की जांच करने का लक्ष्य रखता है, जिसका उपयोग LLMs के लिए बहुविकल्पीय प्रश्नों (MCQs) में किया जाता है, और उनके अंतर्निहित सीमाओं को उजागर करता है। हमारे अनुभवात्मक जांच से यह पता चलता है कि प्रचलित संभावना-आधारित मूल्यांकन विधि पीढ़ी-आधारित पूर्वानुमान के साथ अप्रभावी रूप से मेल खाती है। इसके अलावा, वर्तमान मूल्यांकन ढांके आमतौर पर LLMs का मूल्यांकन आउटपुट संभावनाओं पर आधारित पूर्वानुमान कार्यों के माध्यम से करते हैं, न कि सीधे प्रतिक्रिया जनरेट करने के लिए, कम्प्यूटेशनल सीमाओं के कारण। हम यह दर्शाते हैं कि ये संभावना-आधारित दृष्टिकोण उत्पादक पूर्वानुमानों के साथ प्रभावी रूप से मेल नहीं खाते हैं। nuestro estudio के परिणाम LLM मूल्यांकन विधियों की समझ को बढ़ा सकते हैं और इस क्षेत्र में भविष्य के अनुसंधान के लिए अंतर्दृष्टि प्रदान कर सकते हैं।