Lorsque les modèles d'IA passent l'examen : grands modèles de langage vs étudiants en médecine lors des examens de cours à choix multiples

Les grands modèles de langage (LLMs) sont de plus en plus utilisés dans le domaine de la santé et de l'éducation médicale, mais leur performance sur les questions à choix multiples (QCM) rédigées par les institutions, en particulier avec des notations négatives, reste peu claire. Nous avons comparé la performance d'examen de cinq LLMs contemporains avec celle d'étudiants en médecine lors des examens finaux à choix multiples (style QCM) à travers quatre cours cliniques. Nous avons mené une étude comparative transversale à l'Université Miguel Hernández (Espagne) en 2025. Les examens finaux en Maladies Infectieuses, Neurologie, Médecine Respiratoire et Médecine Cardiovasculaire ont été administrés dans des conditions habituelles en espagnol. Cinq LLMs (OpenAI o1, GPT-4o, DeepSeek R1, Microsoft Copilot et Google Gemini 1.5 Flash) ont répondu à tous les QCM lors de deux séries indépendantes. Les notes ont été moyennées et la confiance test-retest a été estimée avec l'AC1 de Gwet. Les scores des étudiants (n = 442) ont été résumés sous forme de moyenne ± SD ou de médiane (IQR). Les écarts entre modèles ont été explorés avec le test de McNemar ; les contrastes étudiant-LLM étaient descriptifs. Dans tous les cours, les LLMs ont constamment dépassé la médiane des étudiants et, dans plusieurs cas, le meilleur score étudiant. Les scores moyens des LLMs variaient de 7.46 à 9.88, contre des moyennes étudiantes de 4.28 à 7.32. OpenAI o1 a obtenu la meilleure moyenne dans trois cours ; Copilot a dominé en Médecine Cardiovasculaire (sous-ensembles uniquement textuels en raison de limitations d'image). Tous les LLMs ont répondu à chaque QCM et l'accord test-retest à court terme était élevé (AC1 0.79-1.00). Agrégés à travers les cours, les LLMs ont réalisé une moyenne de 8.75 contre 5.76 pour les étudiants. Sur les examens QCM en espagnol fixés par le département avec notation négative, les LLMs ont surpassé les étudiants en médecine inscrits, ont répondu à chaque item et ont montré une haute reproductibilité à court terme. Ces résultats soutiennent une utilisation prudente, supervisée par le corps professoral, des LLMs comme compléments à l'évaluation QCM (par exemple, pré-tests automatisés, rétroaction). Une confirmation à travers les institutions, les langues et les formats riches en images, ainsi qu'une évaluation de l'impact éducatif au-delà de l'exactitude sont nécessaires.