हाल ही में, बड़े भाषा मॉडल (LLMs) की भ्रमण पर व्यापक शोध मुख्य रूप से अंग्रेजी भाषा पर केंद्रित रहा है। बहुभाषी और अरबी-विशिष्ट LLMs की बढ़ती संख्या के बावजूद, अरबी संदर्भ में LLMs के भ्रमण का मूल्यांकन अपेक्षाकृत अन्वेषित है। यह ज्ञान अंतर खासकर महत्वपूर्ण है क्योंकि अरबी कई क्षेत्रों में व्यापक रूप से उपयोग होती है और यह वैश्विक संचार और मीडिया में महत्वपूर्ण है। यह पत्र अरबी और बहुभाषी LLMs का पहला व्यापक भ्रमण मूल्यांकन प्रस्तुत करता है जो दो महत्वपूर्ण अरबी प्राकृतिक भाषा उत्पत्ति कार्यों पर आधारित है: जनरेटिव प्रश्न उत्तर (GQA) और संक्षेपण। इस अध्ययन में कुल 12 LLMs का मूल्यांकन किया गया, जिसमें 4 अरबी प्री-प्रशिक्षित मॉडल, 4 बहुभाषी मॉडल, और 4 तर्क-आधारित मॉडल शामिल हैं। LLMs के आउटपुट की तथ्यात्मक संगतता और विश्वासworthiness का आकलन करने के लिए, हमने 12 बारीक भ्रमण संकेतकों का एक बारीक-सरौनिकी मूल्यांकन ढांचा विकसित किया है जो प्रत्येक कार्य के विभिन्न विशेषताओं का प्रतिनिधित्व करता है। परिणाम बताते हैं कि तथ्यात्मक भ्रमण सभी मॉडल और कार्यों में विश्वासworthiness की त्रुटियों की तुलना में अधिक सामान्य हैं। विशेष रूप से, अरबी प्री-प्रशिक्षित मॉडल Allam लगातार बहुभाषी मॉडलों की तुलना में कम भ्रमण दर दिखाता है और तर्क-आधारित मॉडलों के साथ तुलनात्मक प्रदर्शन करता है। कोड यहाँ उपलब्ध है: https://github.com/aishaalansari57/AraHalluEval
Alansari et al. (Thu,) ने इस प्रश्न का अध्ययन किया।