भावना विश्लेषण में पाठ पूर्व-प्रसंस्करण की प्रभावशीलता का मूल्यांकन

व्यावहारिक आवश्यकताएं और शैक्षणिक चुनौतियां दोनों ने भावना विश्लेषण को एक फलते-फूलते शोध क्षेत्र में बदलने में योगदान दिया है। चूंकि बहुत सारे भावना विश्लेषण का काम सोशल मीडिया संचार पर किया जाता है, जहां टेक्स्ट अक्सर व्याकरण और वर्तनी के नियमों की अवहेलना करता है, डेटा को साफ करने के लिए पूर्व-प्रसंस्करण तकनीकों की आवश्यकता होती है। विश्लेषण करने से पहले टेक्स्ट को सामान्य बनाने के लिए भी पूर्व-प्रसंस्करण आवश्यक है, क्योंकि सोशल मीडिया संक्षेपण, इमोटिकॉन्स, इमोजी, काटी गई वाक्य और स्लैंग से भरा हुआ है। जबकि पूर्व-प्रसंस्करण को साहित्य में व्यापक रूप से चर्चा की गई है, और इसे अनिवार्य माना जाता है, सर्वोत्तम प्रथाओं के लिए सिफारिशें निर्णायक नहीं रही हैं। इसलिए, हमने इस विषय पर उपलब्ध शोध का समीक्षा किया है और पूर्व-प्रसंस्करण घटकों के विभिन्न संयोजनों का मात्रात्मक मूल्यांकन किया है। हमने ट्विटर भावना विश्लेषण के मामले पर ध्यान केंद्रित किया है, क्योंकि ट्विटर सार्वजनिक रूप से सुलभ डेटा का एक महत्वपूर्ण स्रोत साबित हुआ है। हमने कुछ ऑफ-द-शेल्फ उपकरणों और एक एल्गोरिदम के लिए समग्र सटीकता के लिए विभिन्न पूर्व-प्रसंस्करण घटकों के संयोजनों की प्रभावशीलता का भी आकलन किया है। हमारे परिणाम पुष्टि करते हैं कि पूर्व-प्रसंस्करण घटकों का क्रम महत्वपूर्ण है और नाइव बेयस वर्गीकर्ताओं के प्रदर्शन में स्पष्ट रूप से सुधार करता है। हम यह भी पुष्टि करते हैं कि लेम्मेटाइजेशन एक सूची के प्रदर्शन को बढ़ाने के लिए उपयोगी है, लेकिन यह भावना विश्लेषण के गुणवत्ता को विशेष रूप से नहीं सुधारता है।