SQuAD: मशीन टेक्स्ट समझ के लिए 100,000+ प्रश्न

हम प्रस्तुत करते हैं स्टैनफोर्ड प्रश्नोत्तर डेटासेट (SQuAD), एक नया रीडिंग कॉम्प्रिहेंशन डेटासेट जिसमें 100,000+ प्रश्न शामिल हैं जो क्राउडवर्कर्स द्वारा विकिपीडिया लेखों के सेट पर पूछे गए हैं, जहां प्रत्येक प्रश्न का उत्तर संबंधित पाठ से एक टेक्स्ट खंड होता है। हम इस डेटासेट का विश्लेषण करते हैं यह समझने के लिए कि प्रश्नों के उत्तर देने के लिए किस प्रकार के तर्क की आवश्यकता होती है, जिसमें हम विशेष रूप से डिपेंडेंसी और कंस्टीट्यूएंसी ट्रीज़ पर निर्भर करते हैं। हमने एक मजबूत लॉजिस्टिक रिग्रेशन मॉडल बनाया है, जो 51.0% का F1 स्कोर प्राप्त करता है, जो एक सरल बेसलाइन (20%) की तुलना में महत्वपूर्ण सुधार है। हालांकि, मानव प्रदर्शन (86.8%) बहुत अधिक है, जो इंगित करता है कि यह डेटासेट भविष्य के शोध के लिए एक अच्छा चुनौतीपूर्ण समस्या प्रस्तुत करता है। यह डेटासेट https://stanford-qa.com पर स्वतंत्र रूप से उपलब्ध है।