Evaluación de Modelos de Lenguaje Grande en la Comprensión y Revisión de Literatura Académica: Un Estudio Empírico entre Académicos en Etapas Tempranas

El rápido avance de los modelos de lenguaje grandes (LLMs) como ChatGPT hace posibles las herramientas académicas basadas en LLM. Sin embargo, se ha investigado poco empíricamente cómo los académicos realizan diferentes tipos de tareas académicas con LLMs. A través de un estudio empírico seguido de una entrevista semiestructurada, evaluamos el desempeño de 48 académicos en etapas tempranas en la realización de actividades académicas fundamentales (es decir, lectura de documentos y revisiones de literatura) bajo diferentes niveles de presión temporal. Antes de realizar las tareas, los participantes recibieron diferentes programas de capacitación sobre las limitaciones y capacidades de los LLMs. Después de completar las tareas, los participantes realizaron una entrevista. Se analizaron datos cuantitativos sobre la influencia de la presión temporal, el tipo de tarea y el programa de capacitación en el rendimiento de los participantes en tareas académicas. Las entrevistas semiestructuradas proporcionaron información adicional sobre los factores influyentes en el desempeño de las tareas, las percepciones de los participantes sobre los LLMs y las preocupaciones sobre la integración de los LLMs en los flujos de trabajo académicos. Los hallazgos pueden guiar un uso y diseño más apropiados de herramientas basadas en LLM para asistir en el trabajo académico.