कंप्यूटर कितनी अच्छी तरह गणित शब्द समस्याओं को हल करते हैं? बड़े पैमाने पर डेटासेट निर्माण और मूल्यांकन

हाल ही में कुछ सिस्टमों ने गणित शब्द समस्याओं को स्वचालित रूप से हल करने के लिए आशाजनक परिणामों की रिपोर्ट की है। हालांकि, मूल्यांकन के लिए उपयोग किए गए डेटासेट में पैमाने और विविधता दोनों में सीमाएँ हैं। इस लेख में, हम एक बड़े पैमाने पर डेटासेट का निर्माण करते हैं जो पूर्ववर्ती डेटासेट के आकार से 9 गुना अधिक है, और इसमें कई अधिक समस्या प्रकार शामिल हैं। डेटासेट में समस्याएँ सामुदायिक प्रश्न-उत्तर (CQA) वेब पृष्ठों से अर्ध-स्वचालित रूप से प्राप्त की गई हैं। समस्या उत्तर को स्वचालित रूप से निकालने के लिए एक रैंकिंग SVM मॉडल को प्रशिक्षित किया गया है, जो मानव एनोटेशन की लागत को काफी कम करता है। नए डेटासेट पर किए गए प्रयोगों ने दिलचस्प और आश्चर्यजनक परिणाम दिए हैं।