Détecter l'utilisation de ChatGPT dans les journaux universitaires en analysant les différences stylistiques avec l'apprentissage automatique

Les grands modèles linguistiques (LLM) ont la capacité de générer du texte en enchaînant des mots issus de leurs vastes données d'entraînement. L'outil principal de génération de texte IA basé sur les LLM, ChatGPT, a rapidement acquis une large base d'utilisateurs depuis sa sortie, mais les domaines dans lesquels il est largement utilisé ne sont pas encore connus du public. Pour comprendre comment l'IA générative transforme la presse écrite et dans quelle mesure elle est déjà mise en œuvre, il est nécessaire de disposer de méthodes permettant de distinguer le texte généré par des humains de celui généré par l'IA. Étant donné que les étudiants universitaires ont été des adopteurs précoces de ChatGPT, nous avons cherché à étudier la présence de l'IA générative dans les articles de presse écrits par des journalistes universitaires. Pour atteindre cet objectif, un modèle de détection d'IA précis est nécessaire. Nous avons analysé des articles de journaux universitaires de différentes universités afin de déterminer si ChatGPT avait été utilisé pour rédiger ou modifier les articles. Nous avons développé un modèle de détection utilisant l'apprentissage automatique classique et avons utilisé ce modèle pour détecter l'utilisation de l'IA dans les articles. Le modèle de détection a affiché une précision de 93 % sur les données d'entraînement et a obtenu une performance similaire sur l'ensemble de test, démontrant son efficacité dans la détection de l'IA surpassant les outils de détection existants de pointe. Enfin, le modèle a été appliqué à la tâche de recherche de l'usage de l'IA générative en 2023, et nous avons constaté que ChatGPT n'était pas utilisé de manière appréciable pour réviser les articles afin de rédiger des articles universitaires dans les établissements étudiés.