QuAC: संदर्भ में प्रश्न उत्तर देना

हम QuAC प्रस्तुत करते हैं, जो संदर्भ में प्रश्न उत्तर देने के लिए एक डेटासेट है जिसमें 14K जानकारी-खोज प्रश्न उत्तर संवाद (कुल 100K प्रश्न) शामिल हैं। संवाद में दो भीड़ कार्यकर्ता शामिल होते हैं: (1) एक छात्र जो एक छिपे हुए विकिपीडिया पाठ के बारे में जितना संभव हो सके जानने के लिए एक श्रृंखला में मुक्त रूप के प्रश्न पूछता है, और (2) एक शिक्षक जो पाठ से छोटे अंश प्रदान कर प्रश्नों का उत्तर देता है। QuAC मौजूदा मशीन समझ डेटासेट में पाई जाने वाली चुनौतियों को प्रस्तुत करता है: इसके प्रश्न अक्सर अधिक खुले, उत्तरहीन, या केवल संवाद संदर्भ के भीतर अर्थपूर्ण होते हैं, जैसा कि हम एक विस्तृत गुणात्मक मूल्यांकन में दिखाते हैं। हम कई संदर्भ मॉडलों के लिए परिणाम भी रिपोर्ट करते हैं, जिसमें हाल ही में विकसित किए गए सबसे उन्नत पठन समझ आर्किटेक्चर का विस्तार किया गया है ताकि संवाद संदर्भ को मॉडल किया जा सके। हमारा सबसे अच्छा मॉडल मानवों से 20 F1 में खराब प्रदर्शन करता है, यह सुझाव देते हुए कि इस डेटा पर भविष्य के कार्य के लिए काफी जगह है। डेटासेट, आधार रेखा, और लीडरबोर्ड http://quac.ai पर उपलब्ध है।