क्षेत्र ज्ञान एकीकरण के माध्यम से भाषा मॉडल को आगे बढ़ाना: सामाजिक वैज्ञानिक नाभिकीय शब्द एम्बेडिंग के प्रशिक्षण, मूल्यांकन और अनुकूलन के लिए एक समग्र दृष्टिकोण

संक्षेप में यह लेख क्षेत्र विशेष शब्द2वेअक-आधारित शब्द एम्बेडिंग के प्रशिक्षण, मूल्यांकन और अनुकूलन के लिए एक समग्र रणनीति प्रस्तावित करता है, जिसमें सामाजिक विज्ञान साहित्य का उदाहरण दिया गया है। हमारे प्राथमिक उद्देश्य हैं: (1) एक सामाजिक विज्ञान पाठ्यक्रम का उपयोग करते हुए एम्बेडिंग का प्रशिक्षण, (2) हमारे विकसित आंतरिक और बाह्य मूल्यांकन रणनीति का उपयोग करके क्षेत्र-निर्दिष्ट एम्बेडिंग की तुलना में उनके प्रदर्शन का परीक्षण करना, और (3) क्षेत्र ज्ञान का उपयोग करके उनके प्रदर्शन को और बढ़ाना। इस दृष्टिकोण का एक अभिन्न भाग के रूप में, हम SociRel-461 प्रस्तुत करते हैं, जो सामाजिक विज्ञान शब्द एम्बेडिंग के आंतरिक मूल्यांकन और इसके बाद के परिष्करण के लिए डिज़ाइन किया गया क्षेत्र-ज्ञान शब्दकोश है। 100,000 पूर्ण-पाठ वैज्ञानिक लेखों के डेटासेट का उपयोग करते हुए, हम कई वेक्टर स्थान मॉडल का प्रशिक्षण करते हैं, जिसे हम अपने बाह्य मूल्यांकन के भाग के रूप में एक बड़े, पूर्व-प्रशिक्षित सामान्य भाषा एम्बेडिंग मॉडल के खिलाफ बेंचमार्क करते हैं। इसके अलावा, हमने बाह्य मूल्यांकन के लिए एक ट्रांसफर लर्निंग मल्टी-लेबल वर्गीकरण कार्य विकसित किया। हमारे निष्कर्षों से पता चलता है कि क्षेत्र-विशिष्ट एम्बेडिंग आंतरिक और बाह्य मूल्यांकन दोनों में अपने क्षेत्र-निर्दिष्ट समकक्षों को बेहतर प्रदर्शन करते हैं। हमने SociRel-461 में निहित क्षेत्र ज्ञान के साथ क्षेत्र-निर्दिष्ट एम्बेडिंग को बढ़ाने के लिए रेट्रोफिटिंग बाद की प्रक्रिया विधि की भी खोज की। जबकि रेट्रोफिटिंग हमारे क्षेत्र-विशिष्ट वेक्टर स्थान मॉडलों को बेहतर नहीं बनाता है, यह क्षेत्र-निर्दिष्ट एम्बेडिंग के प्रदर्शन में महत्वपूर्ण सुधार करता है। यह क्षेत्र ज्ञान के क्षेत्र-निर्दिष्ट एम्बेडिंग में स्थानांतरित करने की संभावनाओं को उजागर करता है। हमारे परिणाम इस बात पर जोर देते हैं कि क्षेत्र-विशिष्ट शब्द एम्बेडिंग का उपयोग करना क्षेत्र विशेष ट्रांसफर लर्निंग कार्यों में बेहतर प्रदर्शन के लिए महत्वपूर्ण है, क्योंकि वे दैनिक भाषा पर प्रशिक्षित पारंपरिक एम्बेडिंग से बेहतर प्रदर्शन करते हैं।