NusaBERT: इंडोBERT को बहुभाषी और बहुसांस्कृतिक बनाना

इंडोनेशिया की भाषाई परिदृश्य आश्चर्यजनक रूप से विविध है, जिसमें 700 से अधिक भाषाएँ और बोलियाँ शामिल हैं, जिससे यह दुनिया के सबसे भाषाई समृद्ध राष्ट्रों में से एक बनता है। यह विविधता, कोड-स्विचिंग के व्यापक अभ्यास और कम संसाधन वाले क्षेत्रीय भाषाओं की उपस्थिति के साथ मिलकर, आधुनिक पूर्व-प्रशिक्षित भाषा मॉडलों के लिए अनूठी चुनौतियां पेश करती है। इन चुनौतियों का जवाब देते हुए, हमने NusaBERT का विकास किया, जो इंडोBERT पर आधारित है, जिसमें शब्दावली विस्तार को शामिल किया गया है और क्षेत्रीय भाषाओं और बोलियों को समेटने वाले विविध बहुभाषी कॉर्पस का लाभ उठाया गया है। विभिन्न बेंचमार्क के माध्यम से कठोर मूल्यांकन के माध्यम से, NusaBERT इंडोनेशिया की कई भाषाओं में कार्यों में अत्याधुनिक प्रदर्शन प्रदर्शित करता है, जो कम प्रतिनिधित्व वाली भाषाओं के लिए भविष्य के प्राकृतिक भाषा समझ अनुसंधान के लिए मार्ग प्रशस्त करता है।