تقييم عبر اللغات لنماذج الذكاء الاصطناعي التوليدية للاستفسارات المتعلقة بالسكري والغدد الصماء

الخلفية والأهداف: تشكل اضطرابات الغدد الصماء والتمثيل الغذائي، بما في ذلك السكري (DM)، تحديات صحية كبيرة على مستوى العالم. تُستخدم نماذج الذكاء الاصطناعي التوليدية (genAI) بشكل متزايد لمساعدة المرضى بأنفسهم. هدفت هذه الدراسة إلى تقييم أداء نموذجين من genAI، ChatGPT و Microsoft Copilot، في الاستجابة للاستفسارات المتعلقة بالغدد الصماء باللغة الإنجليزية والعربية. المواد والطرق: اتبعت هذه الدراسة الوصفية قائمة التحقق METRICS للدراسات الصحية المعتمدة على genAI، حيث تمت مقارنة ردود ChatGPT-4o و Microsoft Copilot على 20 استفسارًا يتعلق بالغدد الصماء باللغة الإنجليزية والعربية (15 استفسارًا عن السكري بالإضافة إلى خمسة استفسارات عن الغدد الصماء). تم تقييم الردود باستخدام أداة CLEAR، التي تقيّم الاكتمال والدقة والصلة/الملاءمة. تم تقييم المخرجات من قبل ثلاثة خبراء في الغدد الصماء بشكل مستقل. النتائج: لكل لغة ونموذج، تم تقييم ما مجموعه 80 ردًا. كانت موثوقية التقييم بين المقيمين عالية مع معامل الارتباط الداخلي=0.832. أظهر ChatGPT-4o أداءً متفوقًا بشكل مستمر على Microsoft Copilot، محققًا تقييمات 'ممتاز' باللغة الإنجليزية و'جيد جداً' باللغة العربية، في حين حقق Microsoft Copilot تقييمات 'جيد جداً' باللغة الإنجليزية و'جيد' إلى 'جيد جداً' باللغة العربية. تفوق ChatGPT-4o على Microsoft Copilot من حيث الاكتمال (4.38 مقابل 3.36، p<.001)، والدقة (4.18 مقابل 3.83، p=.014)، والصلة (4.44 مقابل 3.82، p<.001). اختلف الأداء بشكل كبير بين الردود باللغة الإنجليزية والعربية، مع p<.001 للاكتمال، p=.001 للدقة، p=.012 للصلة، وp<.001 للدرجة الإجمالية لـ CLEAR. لم يتم العثور على فروق ذات دلالة إحصائية بناءً على موضوع الاستفسار. الاستنتاجات: تفوق ChatGPT-4o على Microsoft Copilot في جميع مكونات CLEAR، ولكن كانت هناك فروق واضحة قائمة على اللغة. من الضروري معالجة هذه القيود لضمان الوصول العادل إلى الرعاية الغدد الصماء للمرضى غير الناطقين بالإنجليزية.