Los puntos clave no están disponibles para este artículo en este momento.
Objetivo Este estudio evaluó el potencial de Chat Generative Pre-trained Transformer (ChatGPT) como herramienta educativa para residentes de neurocirugía que se preparan para el examen primario de la American Board of Neurological Surgery (ABNS). Métodos Se introdujeron preguntas no relacionadas con imágenes del banco de preguntas en línea de la Congress of Neurological Surgeons (CNS) Self-Assessment in Neurological Surgery (SANS) en ChatGPT. Se evaluó la precisión y se comparó con el desempeño humano en diferentes subcategorías. Para cuantificar el potencial educativo de ChatGPT, se evaluaron la concordancia y la claridad de las explicaciones por múltiples facultativos de neurocirugía. Se evaluaron las asociaciones entre estos métricas y la longitud de las preguntas. Resultados ChatGPT tuvo una precisión del 50.4% (1,068/2,120), con las precisiones más altas y más bajas en las subcategorías de farmacología (81.2%, 13/16) y vascular (32.9%, 91/277), respectivamente. ChatGPT tuvo un rendimiento inferior al de los humanos en general, así como en las subcategorías de funcional, otros, periférico, radiología, columna, trauma, tumor y vascular. No hubo ningún tema en el que ChatGPT superara a los humanos y su precisión fue inferior a la requerida para aprobar el examen. La concordancia media fue del 93.4% (198/212) y la puntuación media de claridad fue de 2.7. La precisión se asoció negativamente con la longitud de la pregunta (R2=0.29, p=0.03) pero se asoció positivamente con la concordancia (p<0.001, q<0.001) y la claridad (p<0.001, q<0.001). Conclusiones El estudio actual proporciona la evaluación más grande y completa de la precisión y calidad explicativa de ChatGPT en la respuesta a las preguntas del examen primario de ABNS. Los hallazgos demuestran deficiencias con respecto a la capacidad de ChatGPT para aprobar, por no hablar de enseñar, las juntas de neurocirugía.
Powers et al. (Sat,) estudiaron esta pregunta.