टोकनों को साझा पात्र स्थान पर मानचित्रित करके एक द्विभाषी भाषा मॉडल का प्रशिक्षण

हम एक द्विभाषी अरबी-हिब्रू भाषा मॉडल का प्रशिक्षण करते हैं, जिसमें हिब्रू में अरबी पाठों का एक ट्रांसलिटरेटेड संस्करण उपयोग किया जाता है, ताकि दोनों भाषाएँ एक ही स्क्रिप्ट में प्रस्तुत की जा सकें। अरबी और हिब्रू के बीच रूपात्मक, संरचनात्मक समानताओं और साझा किए गए व्यापक मात्रा में समानार्थक शब्दों को देखते हुए, हम एक भाषा मॉडल के प्रदर्शन का आकलन करते हैं जो दोनों भाषाओं के लिए एकीकृत स्क्रिप्ट का उपयोग करता है, उस मशीन अनुवाद पर जो पार-भाषाई ज्ञान की आवश्यकता है। परिणाम आशाजनक हैं: हमारा मॉडल एक विरोधी मॉडल से बेहतर प्रदर्शन करता है जो अरबी पाठों को अरबी स्क्रिप्ट में रखता है, ट्रांसलिटरेशन चरण की प्रभावशीलता को प्रदर्शित करता है। अन्य मौजूदा भाषा मॉडलों की तुलना में लगभग 60% छोटे डेटासेट पर प्रशिक्षित होने के बावजूद, हमारा मॉडल दोनों अनुवाद दिशाओं में मशीन अनुवाद में तुलनीय प्रदर्शन देने वाले प्रतीत होता है।