पाठ प्रतिनिधित्व में, हालांकि BERT मॉडल शब्द2वेक में बहु-स्वर वाले शब्द की समस्या को हल कर सकता है, BERT पूर्व-प्रशिक्षण कार्य में एकल शब्द का मास्किंग प्रशिक्षण लगातार शब्दों के बीच संबंध को अलग करता है, जिससे मॉडल के लिए शब्दों की अर्थवादी जानकारी को प्रभावी ढंग से सीखना कठिन हो जाता है। इसलिए, इस पेपर द्वारा विशेषता प्रतिनिधित्व के लिए सुधारित BERT मॉडल पर आधारित दोष पाठ का वर्गीकरण विधि प्रस्तावित की गई है। पहले, BERT मॉडल के इनपुट लेयर को लिंक करने और संस्थाओं को निकालने के द्वारा सुधारित किया गया है, विशेषताओं को विलय करने के लिए टोकन और संस्थाओं को फ्यूज किया गया है और फिर पूर्व-प्रशिक्षण कार्य किया गया है। फिर, सुधारित BERT मॉडल का उपयोग करते हुए शब्द ज्ञान के साथ अर्थवादी जानकारी को सीखन के लिए गतिशील शब्द वेक्टर उत्पन्न करने हेतु प्रशिक्षित किया गया। प्रयोगात्मक परिणाम दर्शाते हैं कि प्रस्तावित BERT मॉडल द्वारा प्रशिक्षित दोष पाठ प्रतिनिधित्व वेक्टर ने दोष पाठ वर्गीकरण की सटीकता को बढ़ा दिया है।
वांग एट अल। (गुरुवार,) ने इस प्रश्न का अध्ययन किया।