सऊदी बोली से MSA में मशीन अनुवाद: LLMs का एक प्रणालीबद्ध मूल्यांकन

आंचलिक अरबी (DA) पाठों को मॉडर्न स्टैंडर्ड अरबी (MSA) में परिवर्तित करना डाउनस्ट्रीम अनुप्रयोगों में एक महत्वपूर्ण कदम माना जाता है। इसका कारण यह है कि अरबी बोलियों की विशाल विविधता इस प्रकार के डेटा के सीमित उपलब्ध संसाधनों को जन्म देती है। इसके अतिरिक्त, DA के साथ सीधे निपटना कई जटिलताएँ शामिल करता है, क्योंकि इस भाषा के रूप के लिए कोई विशेष पूर्वप्रसंस्करण उपकरण तैयार नहीं किए गए हैं। हाल के समय में बड़े भाषा मॉडलों (LLMs) में हुई प्रगति ऐसे कम-संसाधन कार्य के लिए DA पाठों को MSA में अनुवाद करने की प्रक्रिया को आसान बनाने वाली एक आशाजनक तकनीक दिखती है। इस शोधपत्र में, हमने सूक्ष्म-सूत्र सऊदी आंचलिक अरबी से MSA में अनुवाद के कार्य पर LLMs की क्षमता का मूल्यांकन किया। यह कार्य दो LLM-आधारित मॉडलों, ALLaM (एक बहुभाषी मॉडल) और GPT-3.5 (एक बहुभाषी मॉडल) का उपयोग कर किया गया। इस प्रक्रिया में LLM मॉडलों के लिए एक विशिष्ट प्रॉम्प्ट ढांचा डिजाइन किया गया। प्रयोग दो अलग-अलग सऊदी बोली डेटासेट्स पर किए गए: SauDial (एक नया विकसित डेटासेट) और MADAR (एक मानक डेटासेट)। परिणामों का मूल्यांकन चार मेट्रिक्स से किया गया: BLEU, TER, METEOR, और COMET। हमारे निष्कर्ष बताते हैं कि ALLaM दोनों डेटासेट पर विभिन्न सऊदी बोलियों में GPT-3.5 की तुलना में काफी बेहतर प्रदर्शन करता है, SauDial और MADAR पर क्रमशः 53.17% और 35.02% के औसत BLEU स्कोर के साथ।