Au revoir les annotateurs humains ? Analyse de contenu des débats politiques utilisant ChatGPT

L'analyse de contenu est un outil précieux pour analyser le discours politique, mais l'annotation par des humains est coûteuse et chronophage. ChatGPT est un outil potentiellement utile pour automatiser l'analyse de contenu des débats politiques, remplaçant en grande partie les annotateurs humains. Nous évaluons la capacité de ChatGPT à classifier des documents en utilisant des descriptions d'arguments, en comparant sa performance avec celle des annotateurs humains pour deux débats politiques : le débat sur le revenu de base universel sur Twitter néerlandais (2014-2016) et le débat sur les réformes des retraites dans les journaux allemands (1993-2001). Nous utilisons la dernière API disponible (GPT-4 Turbo) et la version de l'interface utilisateur (GPT-4) et évaluons plusieurs indicateurs de performance (précision, rappel). ChatGPT est très fiable et précis dans la classification des arguments prédéfinis à travers des ensembles de données. Cependant, la précision et le rappel sont beaucoup plus bas et varient fortement entre les arguments. Ces résultats s'appliquent aux deux ensembles de données, malgré les différences de langue et de type de média. De plus, la méthode de seuil proposée dans cet article peut aider les chercheurs à naviguer dans le compromis entre détection et bruit. Dans l'ensemble, nous ne recommandons pas (encore) une application aveugle de ChatGPT pour classifier des arguments dans les débats politiques. Ceux qui s'intéressent à adopter cet outil devraient valider manuellement les classifications effectuées par le bot avant de les utiliser dans des analyses ultérieures. Du moins pour l'instant, les annotateurs humains sont là pour rester.