क्लिनिकल मेडिसिन के लिए सामान्य दृष्टि-भाषा मॉडल का मूल्यांकन

सार हाल ही में उभरे बड़े मल्टीमॉडल मॉडल (LMMs) विभिन्न प्रकार के डेटा माध्यमों, जैसे कि पाठ और दृश्य इनपुट का उपयोग करते हैं ताकि आउटपुट उत्पन्न किया जा सके। क्लिनिकल मेडिसिन में LMMs का समावेश अद्वितीय चुनौतियाँ प्रस्तुत करता है, जिनमें सटीकता, विश्वसनीयता, और क्लिनिकल प्रासंगिकता शामिल हैं। यहाँ, हम चिकित्सा में उपयोग के लिए प्रस्तावित एक LMM, GPT-4V के क्लिनिकल अनुप्रयोगों का अन्वेषण करते हैं, जो कि गैस्ट्रोएंटेरोलॉजी, रेडियोलॉजी, डर्मेटोलॉजी, और संयुक्त राज्य चिकित्सा लाइसेंस परीक्षा (USMLE) परीक्षण प्रश्नों में है। हमने हजारों एंडोस्कोपी छवियों, छाती एक्स-रे, और त्वचा घावों के साथ मानकीकृत मजबूत डेटासेट का उपयोग किया ताकि GPT-4V की निदान भविष्यवाणी करने की क्षमता को माप सकें। पूर्वाग्रह का मूल्यांकन करने के लिए, हमने डर्मेटोलॉजी छवियों के साथ फिट्ज़पैट्रिक त्वचा टोन निर्धारित करने की GPT-4V की क्षमता की भी जांच की। हमने पाया कि GPT-4V सभी चार क्षेत्रों में प्रदर्शन में सीमित है, जिससे पहले प्रकाशित बेंचमार्क मॉडल की तुलना में प्रदर्शन में कमी आई है। गैस्ट्रोएंटेरोलॉजी के लिए मैक्रो-औसत सटीकता, पुनः प्राप्ति, और F1-स्कोर क्रमशः 11.2%, 9.1% और 6.8% था। रेडियोलॉजी के लिए, सबसे अच्छा प्रदर्शन करने वाले कार्य, कार्डियोमेगाली की पहचान में सटीकता, पुनः प्राप्ति, और F1-स्कोर क्रमशः 28%, 94%, और 43% था। डर्मेटोलॉजी में, GPT-4V का कुल शीर्ष-1 और शीर्ष-3 निदान सटीकता क्रमशः 6.2% और 21% था। गहरे त्वचा टोन की छवियों की भविष्यवाणी करते समय सटीकता में एक महत्वपूर्ण कमी आई (p< 0.001)। GPT-4V ने 56.5% छवियों के लिए फिट्ज़पैट्रिक त्वचा टोन को सटीक रूप से पहचाना। बहुविकल्पीय शैली के USMLE छवि-आधारित परीक्षण प्रश्नों के लिए, GPT-4V की सटीकता 59% थी। हमारे निष्कर्ष दर्शाते हैं कि GPT-4V का वर्तमान संस्करण कई छवि-आधारित चिकित्सा विशेषज्ञताओं में अपने निदान की क्षमताओं में सीमित है। भविष्य के काम में LMM की संवेदनशीलता का अन्वेषण करना चाहिए, साथ ही अन्य मजबूत मॉडलों के साथ LMM की क्षमताओं को मिलाकर हाइब्रिड मॉडल पर भी विचार करना चाहिए।