इन-कॉन्टेक्स्ट लर्निंग का प्रेरक पूर्वाग्रह: पूर्व-प्रशिक्षण उदाहरण डिज़ाइन पर पुनर्विचार

एक बड़े कॉर्पस पर न्यूरल लैंग्वेज मॉडल (NLMs) का पूर्व-प्रशिक्षण प्रशिक्षण उदाहरणों में टेक्स्ट को शामिल करना शामिल है, जो प्रसंस्कृत करने योग्य न्यूरल आर्किटेक्चर के लगातार टेक्स्ट खंड होते हैं। हम एक पूर्वाग्रह को उजागर करते हैं जो सामान्य प्रथा द्वारा प्रस्तुत किया गया है: हम प्रमाणित करते हैं कि पूर्व-प्रशिक्षित NLM वही प्रशिक्षण उदाहरण में दिखाई देने वाले टेक्स्ट खंडों के बीच कहीं अधिक मजबूत मॉडल कर सकता है, जैसे कि विभिन्न प्रशिक्षण उदाहरणों में दिखाई देने वाले टेक्स्ट खंडों के बीच। यह सहज परिणाम दोहरी भूमिका निभाता है। पहले, यह पूर्व-प्रशिक्षण और फाइन-ट्यूनिंग चरणों के लिए प्रस्तावित हालिया सफल NLM प्रशिक्षण ह्यूरिस्टिक्स की एक व्यापक लाइन की प्रेरणा को औपचारिक बनाता है, जो पहली नज़र में जरूरी रूप से संबंधित नहीं होती हैं। दूसरा, हमारा परिणाम स्पष्ट रूप से प्राकृतिक भाषा समझ के लाभ के लिए NLM पूर्व-प्रशिक्षण में और सुधार के लिए संकेत करता है। उदाहरण के लिए, हम "kNN-पूर्व-प्रशिक्षण" का प्रस्ताव करते हैं: हम दिखाते हैं कि संबंधित गैर-आसन्न वाक्यों को एक ही पूर्व-प्रशिक्षण उदाहरण में शामिल करना वाक्य प्रतिनिधित्वों और खुली डोमेन प्रश्न उत्तर देने में सुधार करता है। पूर्व-प्रशिक्षण डिज़ाइन के लिए इस सिद्धांत से प्रेरित स्वतंत्रता का स्तर आत्म-सुधार के नए प्रशिक्षण योजनाओं को इंगीत करता है।