फेसबुक एआई का WMT20 समाचार अनुवाद कार्य समर्पण

यह पेपर फेसबुक एआई के WMT20 साझा समाचार अनुवाद कार्य में समर्पण का वर्णन करता है। हम कम संसाधन सेटिंग पर ध्यान केंद्रित करते हैं और दो भाषा विकल्पों, तमिल अंग्रेजी और इनुक्टिट अंग्रेजी में भाग लेते हैं, जहाँ क्षेत्र के बाहर के बिटेक्स्ट और एकलभाषी डेटा सीमित हैं। हम कम संसाधन समस्या का समाधान करने के लिए दो मुख्य रणनीतियों का उपयोग करते हैं, सभी उपलब्ध डेटा का लाभ उठाने और प्रणाली को लक्षित समाचार क्षेत्र में अनुकूलित करने के लिए। हम उन तकनीकों का अन्वेषण करते हैं जो सभी भाषाओं से बिटेक्स्ट और एकलभाषी डेटा का लाभ उठाती हैं, जैसे कि आत्म-निगरानी मॉडल प्री-प्रशिक्षण, बहु-भाषाई मॉडल, डेटा संवर्धन, और पुनः रैंकिंग। अनुवाद प्रणाली को परीक्षण क्षेत्र में बेहतर अनुकूलित करने के लिए, हम डेटासेट टैगिंग और इन-डोमेन डेटा पर फाइन-ट्यूनिंग का अन्वेषण करते हैं। हम अवलोकन करते हैं कि विभिन्न तकनीकें भाषा जोड़ी के उपलब्ध डेटा के आधार पर विभिन्न सुधार प्रदान करती हैं। इस खोज के आधार पर, हम इन तकनीकों को एक प्रशिक्षण पाइपलाइन में एकीकृत करते हैं। En->Ta के लिए, हम अतिरिक्त तमिल बिटेक्स्ट और एकलभाषी डेटा के साथ एक अनियंत्रित सेटअप का अन्वेषण करते हैं और दिखाते हैं कि आगे का सुधार प्राप्त किया जा सकता है। परीक्षण सेट पर, हमारे सबसे अच्छे समर्पित सिस्टम Ta->En और En->Ta के लिए क्रमशः 21.5 और 13.7 BLEU प्राप्त करते हैं, और Iu->En और En->Iu के लिए क्रमशः 27.9 और 13.0 प्राप्त करते हैं।