हाल की प्रगति ने बड़े भाषा मॉडलों (LLMs) और दृष्टि-भाषा मॉडलों (LVLMs) में कई कार्यों में आशा दिखाई है, फिर भी उनके वैज्ञानिक तर्क करने की क्षमताएं अनियंत्रित बनी हुई हैं, विशेष रूप से मल्टीमोडल सेटिंग्स में। हम MMSciBench प्रस्तुत करते हैं, जो केवल पाठ और पाठ-छवि प्रारूपों के माध्यम से गणितीय और भौतिक तर्क का मूल्यांकन करने के लिए एक बेंचमार्क है, जिसमें मानव-एनोटेटेड कठिनाई स्तर, विस्तृत व्याख्याओं के साथ समाधान, और वर्गीकरण मानचित्र शामिल हैं। अत्याधुनिक मॉडलों का मूल्यांकन महत्वपूर्ण सीमाओं को प्रकट करता है, जिसमें सर्वश्रेष्ठ मॉडल ने केवल 63.77% सटीकता हासिल की और विशेष रूप से दृश्य तर्क कार्यों में संघर्ष किया। हमारा विश्लेषण जटिल तर्क और दृश्य-पाठ एकीकरण में महत्वपूर्ण अंतरालों को उजागर करता है, MMSciBench को मल्टीमोडल वैज्ञानिक समझ में प्रगति मापने के लिए एक कठोर मानक स्थापित करता है। MMSciBench का कोड GitHub पर ओपन-सोर्स है, और डेटा सेट Hugging Face पर उपलब्ध है।
ये et al. (Thu,) ने इस प्रश्न का अध्ययन किया।