GPT-4 مقابل المؤلفين البشريين في إنشاء أسئلة اختيار من متعدد المعقدة سريرياً: تحليل معمى لجودة العناصر

الملخص: تعتبر أسئلة اختيار من متعدد نموذج تقييم شائع في التعليم الطبي. يمكن أن تكون عملية إنشاء أسئلة اختيار من متعدد المعقدة سريرياً مهمة تستغرق وقتاً طويلاً للخبراء في المجال. نماذج اللغة الكبيرة مثل GPT-4، نوع من الذكاء الاصطناعي (AI) التوليدي، هي أداة محتملة لتصميم أسئلة اختيار من متعدد. وتمت مقارنة أسئلة اختيار من متعدد البشرية المعقدة سريرياً، سواء على مستوى المبتدئين أو الخبراء، مع أسئلة الذكاء الاصطناعي. تم تصميم حوافز عامة لـ GPT-4، والتي تضمنت إرشادات كتابة العناصر، وأمثلة على أسئلة اختيار من متعدد، والنقاط الرئيسية للتعلم. وتم تطوير نظام تسجيل موحد للجنة توافق لتقييم كل عنصر بشكل موضوعي، مع تحييد المؤلف، في فئات تشمل صلاحية المحتوى، النطاق، تشريح العنصر، مستوى المهارات المعرفية، عيوب كتابة العناصر (IWFs)، شمولية التعليقات، الصدق، كفاية التفكير السريري، والانطباع العالمي عن ملاءمة الاستخدام. أظهر التحليل أن جميع المجموعات (المبتدئين، الخبراء، والذكاء الاصطناعي) كانت قادرة على توليد عناصر ضمن النطاق. كانت عناصر الخبراء أفضل أداءً من عناصر المبتدئين في جميع الفئات. كانت عناصر الخبراء أفضل من الذكاء الاصطناعي في صلاحية المحتوى، وصدق التعليقات والتفكير السريري. كما كانت تميل لاختبار مهارات معرفية أعلى. لم يكن هناك اختلاف في الانطباعات العالمية لعناصر الخبراء والذكاء الاصطناعي، مما يشير إلى أنها قد تكونComparable بشكل عام. مع هندسة مناسبة للحوافز، يمكن لـ GPT-4 إنتاج أسئلة اختيار من متعدد تختبر مفاهيم سريرية معقدة للتقييم الطبي. جودة مخرجات الذكاء الاصطناعي Comparable للخبراء، ومع ذلك فإن التحقق البشري ضروري لضمان صلاحية المحتوى. كانت التعليقات التوضيحية التي تم إنشاؤها بواسطة الذكاء الاصطناعي كافية من حيث الصدق والتفكير السريري، والتي قد تكون أداة تعليمية للمتعلمين.