Evaluación de la Eficacia de ChatGPT en la Resolución de Preguntas Basadas en los Conceptos Fundamentales de la Fisiología

Antecedentes y objetivo ChatGPT es un modelo de lenguaje grande (LLM) de inteligencia artificial (IA) generativa entrenado a través del aprendizaje profundo para producir habilidades lingüísticas similares a las humanas y análisis de problemas simples en una amplia variedad de áreas temáticas. Sin embargo, en términos de facilitar la transferencia de aprendizaje en la educación médica, ha surgido una preocupación de que, aunque la IA es hábil en la aplicación de un entendimiento superficial, no posee el conocimiento profundo necesario para actuar a un nivel experto, particularmente al abordar los conceptos fundamentales. En este estudio, exploramos la eficacia de ChatGPT en la resolución de diversas preguntas de razonamiento basadas en los cinco conceptos fundamentales aplicados a diferentes módulos en la asignatura de fisiología. Materiales y métodos En este estudio, se crearon un total de 82 preguntas de tipo razonamiento de seis módulos aplicables a los cinco conceptos fundamentales por expertos en la materia. Las preguntas se utilizaron para chatear con la herramienta de IA conversacional y las respuestas generadas en la primera instancia se consideraron para puntuar y analizar. Para comparar las puntuaciones entre varios módulos y los cinco conceptos fundamentales por separado, se utilizaron la prueba de Kruskal-Wallis junto con análisis post hoc. Resultados La puntuación media general para los módulos (60 preguntas) fue de 3.72 ±0.26 mientras que la puntuación promedio obtenida para los conceptos fundamentales (60 preguntas) fue de 3.68 ±0.30. Además, se observaron diferencias estadísticamente significativas (p=0.05 para módulos y p=0.024 para conceptos fundamentales) entre varios módulos así como entre los conceptos fundamentales. Conclusión Las diferencias significativas observadas en las puntuaciones entre varios módulos y conceptos fundamentales destacan la ejecución variable de la misma herramienta de software, lo que subraya la necesidad de una evaluación adicional de las aplicaciones de aprendizaje habilitadas por IA para mejorar la transferencia de aprendizaje entre los estudiantes de pregrado.