Cross-Linguale Bewertung von generativen KI-Modellen für Diabetes- und endokrine Anfragen

Hintergrund und Ziele: Endokrine und metabolische Störungen, einschließlich Diabetes mellitus (DM), stellen große globale Gesundheitsherausforderungen dar. Generative künstliche Intelligenz (genAI)-Modelle werden zunehmend für die Patienten-Selbsthilfe eingesetzt. Diese Studie hatte zum Ziel, die Leistung von zwei genAI-Modellen, ChatGPT und Microsoft Copilot, bei der Beantwortung endokriner Anfragen in Englisch und Arabisch zu bewerten. Materialien und Methoden: Diese beschreibende Studie hielt sich an die METRICS-Checkliste für genAI-basierte Gesundheitsstudien und verglich die Antworten von ChatGPT-4o und Microsoft Copilot auf 20 endokrine Anfragen in Englisch und Arabisch (15 DM-Anfragen zusätzlich zu fünf endokrinen Anfragen). Die Antworten wurden mit dem CLEAR-Tool bewertet, das Vollständigkeit, Genauigkeit und Relevanz/Angemessenheit bewertete. Drei Experten für Endokrinologie bewerteten unabhängig die genAI-Ausgaben. Ergebnisse: Pro Sprache und Modell wurden insgesamt 80 Antworten bewertet. Die Inter-Rater-Reliabilität war hoch mit einem Intraclass-Korrelationskoeffizienten von 0,832. ChatGPT-4o übertraf konstant Microsoft Copilot und erhielt 'Ausgezeichnet'-Bewertungen in Englisch und 'Sehr gut' in Arabisch, während Microsoft Copilot 'Sehr gute' Bewertungen in Englisch und 'Gut' bis 'Sehr gut' in Arabisch erreichte. ChatGPT-4o übertraf Microsoft Copilot in Vollständigkeit (4,38 vs. 3,36, p<.001), Genauigkeit (4,18 vs. 3,83, p=.014) und Relevanz (4,44 vs. 3,82, p<.001). Die Leistung variierte signifikant zwischen den englischen und arabischen Antworten, mit p<.001 für die Vollständigkeit, p=.001 für die Genauigkeit, p=.012 für die Relevanz und p<.001 für den Gesamtscore von CLEAR. Es wurden keine statistisch signifikanten Unterschiede basierend auf dem Thema der Anfrage festgestellt. Schlussfolgerungen: ChatGPT-4o übertraf Microsoft Copilot in allen CLEAR-Komponenten, jedoch waren deutliche sprachliche Unterschiede evident. Es ist entscheidend, diese Einschränkungen anzugehen, um einen gerechten Zugang zur endokrinen Versorgung für nicht Englisch sprechende Patienten sicherzustellen.