Key points are not available for this paper at this time.
AI ने शतरंज, गो, और पोकर जैसे खेलों पर असाधारण महारत हासिल की है, और यहां तक कि जेपार्डी पर भी, लेकिन मानकीकृत परीक्षाओं की समृद्ध विविधता एक महत्वपूर्ण चुनौती बनी हुई है। 2016 में भी, सबसे अच्छे AI सिस्टम ने 8वीं कक्षा की विज्ञान परीक्षा चुनौती पर केवल 59.3% प्राप्त किया। यह पत्र ग्रेड 8 न्यूयॉर्क रेजेंट्स विज्ञान परीक्षा पर अभूतपूर्व सफलता की रिपोर्ट करता है, जहां पहली बार एक सिस्टम ने परीक्षा के गैर-चित्र, बहु-विकल्प (NDMC) प्रश्नों पर 90% से अधिक स्कोर किया। इसके अतिरिक्त, हमारा एरिस्टो सिस्टम, हाल के भाषा मॉडल की सफलता पर आधारित, संबंधित ग्रेड 12 विज्ञान परीक्षा के NDMC प्रश्नों पर 83% से अधिक से आगे बढ़ गया। ये परिणाम, अनदेखे परीक्षण प्रश्नों पर, विभिन्न परीक्षण वर्षों और इस तरह के परीक्षणों के विभिन्न रूपों में मजबूत हैं। ये दर्शाते हैं कि आधुनिक NLP विधियाँ इस कार्य में महारत हासिल कर सकती हैं। हालांकि यह सामान्य प्रश्न-उत्तर देने का एक पूर्ण समाधान नहीं है (प्रश्न बहु-विकल्पीय हैं, और डोमेन 8वीं कक्षा के विज्ञान तक सीमित है), यह क्षेत्र के लिए एक महत्वपूर्ण मील का पत्थर है।
Clark et al. (बुुध,) ने इस प्रश्न का अध्ययन किया।