रेडियोलॉजी बोर्ड परीक्षाओं में मुख्यधारा के बड़े भाषा मॉडल के प्रदर्शन की तुलना (पूर्वप्रिंट)

पृष्ठभूमि कृत्रिम बुद्धिमत्ता की प्रगति ने बड़े भाषा मॉडलों को रेडियोलॉजी शिक्षा और निदान की सटीकता पर महत्वपूर्ण प्रभाव डालने में सक्षम बनाया है। उद्देश्य यह अध्ययन मुख्यधारा के बड़े भाषा मॉडलों का प्रदर्शन, जिसमें GPT-4, Claude, Bard, Tongyi Qianwen, और Gemini Pro शामिल हैं, रेडियोलॉजी बोर्ड परीक्षाओं में मूल्यांकन करता है। विधियाँ रेडियोलॉजी बोर्ड परीक्षाओं से 150 बहुविकल्पी प्रश्नों का एक तुलनात्मक विश्लेषण किया गया, जिसमें चित्र शामिल नहीं थे। मॉडल का मूल्यांकन टेक्स्ट आधारित प्रश्नों में सटीकता के आधार पर किया गया, जिन्हें संज्ञानात्मक स्तरों और चिकित्सा विशेषज्ञताओं में वर्गीकृत किया गया था, जिसमें chi-square परीक्षण और ANOVA का उपयोग किया गया। परिणाम GPT-4 ने उच्चतम सटीकता (83.3%) प्राप्त की, जो अन्य को महत्वपूर्ण रूप से पीछे छोड़ती है। Tongyi Qianwen ने भी अच्छा प्रदर्शन किया (70.7%)। प्रदर्शन प्रश्न प्रकारों और विशेषज्ञताओं में भिन्नता के साथ था, जिसमें GPT-4 ने निम्न-क्रम और उच्च-क्रम दोनों प्रश्नों में उत्कृष्टता दिखाई, जबकि Claude और Bard ने जटिल निदान संबंधी प्रश्नों में संघर्ष किया। निष्कर्ष GPT-4 और Tongyi Qianwen चिकित्सा शिक्षा और प्रशिक्षण में संभावनाएं दिखाते हैं। अध्ययन यह रेखांकित करता है कि विशेष क्षेत्रों जैसे रेडियोलॉजी में बड़े मॉडलों की प्रभावशीलता को बढ़ाने के लिए क्षेत्र-विशिष्ट प्रशिक्षण डेटासेट की आवश्यकता है।