वर्तमान में LLMs के मूल्यांकन में मुख्य रूप से चिकित्सा परीक्षाओं के लिए प्रश्न उत्तर देने की सटीकता पर ध्यान केंद्रित किया गया है, बिना वास्तविक रोगी देखभाल डेटा पर विचार किए। निष्पक्षता, पूर्वाग्रह और विषाक्तता जैसे आयामों और तैनाती के विचारों को सीमित ध्यान मिला है। भविष्य के मूल्यांकन को मानकीकृत अनुप्रयोगों और मेट्रिक्स को अपनाना चाहिए, नैदानिक डेटा का उपयोग करना चाहिए, और कार्यों और विशिष्टताओं की व्यापक श्रृंखला को शामिल करने के लिए ध्यान को बढ़ाना चाहिए।
बेदि एट अल। (मंगलवार,) ने इस प्रश्न का अध्ययन किया।