स्वायत्त पाठ वर्गीकरण प्रणालियों का मूल्यांकन और अनुकूलन

पाठ पुनर्प्राप्ति प्रणालियों में आमतौर पर दस्तावेज़ों की रैंकिंग उत्पन्न होती है और उपयोगकर्ता को यह तय करने देती है कि उस रैंकिंग में नीचे कितनी दूर जाना है। इसके विपरीत, टेक्स्ट स्ट्रीम को फ़िल्टर करने वाले कार्यक्रम, दस्तावेज़ों को श्रेणीबद्ध करने वाला सॉफ़्टवेयर, उपयोगकर्ताओं को सूचित करने वाले एजेंट और कई अन्य आईआर प्रणालियाँ मानव इनपुट या पर्यवेक्षण के बिना निर्णय लेनी पड़ती हैं। यह परिभाषित करना महत्वपूर्ण है कि इन स्वायत्त प्रणालियों के लिए क्या अच्छा प्रभावशीलता है, प्रणालियों को उच्चतम संभव प्रभावशीलता प्राप्त करने के लिए समायोजित करना, और यह अनुमान लगाना कि प्रभावशीलता कैसे बदलती है जब नए डेटा को प्रोसेस किया जाता है। हम दिखाते हैं कि यह कैसे किया जाता है बाइनरी पाठ वर्गीकरण प्रणालियों के लिए, यह जोर देते हुए कि प्रणाली के लिए विभिन्न लक्ष्य विभिन्न अनुकूलन व्यवहार की ओर ले जाते हैं। यदि वर्गीकर्ता जो स्पष्ट रूप से वर्ग सदस्यता की संभावना का अनुमान लगाते हैं, का उपयोग किया जाए तो अनुकूलन और प्रभावशीलता का अनुमान लगाने में काफी मदद मिलती है। 1