BoolQ: استكشاف الصعوبة المفاجئة لأسئلة نعم/لا الطبيعية

في هذه الورقة، ندرس أسئلة نعم/لا التي تحدث بشكل طبيعي - مما يعني أنها تتولد في إعدادات غير مُحفَّزة وغير مقيدة. نقوم بإنشاء مجموعة بيانات لفهم القراءة، BoolQ، تحتوي على مثل هذه الأسئلة، ونظهر أنها تحديات غير متوقعة. غالبًا ما تستفسر عن معلومات معقدة وغير حقائقية، وتتطلب استنتاجات صعبة تشبه الاستنتاج لحلها. نستكشف أيضًا فعالية مجموعة من خطوط الأساس في التعلم الانتقالي. نجد أن الانتقال من بيانات الاستنتاج أكثر فعالية من الانتقال من بيانات إعادة الصياغة أو بيانات الأسئلة والأجوبة المستخرجة، وأنه، بشكل مفاجئ، يستمر في أن يكون مفيدًا جدًا حتى عند البدء من نماذج اللغة الضخمة المدربة مسبقًا مثل BERT. أفضل طرقنا تقوم بتدريب BERT على MultiNLI ثم إعادة تدريبه على مجموعة البيانات الخاصة بنا. يحقق دقة تصل إلى 80.4% مقارنة بدقة 90% لمراقبي البشر (و62% لخط الأساس الأكثرية)، مما يؤدي إلى فجوة كبيرة لعمل المستقبل.