Vers l'automatisation de l'annotation de texte : Une étude de cas sur l'annotation de proximité sémantique utilisant GPT-4

Cet article explore l'utilisation de GPT-3.5 et GPT-4 pour automatiser le processus d'annotation des données avec des techniques de génération automatique. L'objectif principal de cet article est de réutiliser les directives d'annotation humaine ainsi que certaines données annotées pour concevoir des invites automatiques pour les LLM, en se concentrant sur la tâche d'annotation de proximité sémantique. Les invites automatiques sont comparées à des invites personnalisées. Nous intégrons davantage les stratégies d'invite dans un outil d'annotation de texte open-source, permettant une utilisation facile en ligne via l'API OpenAI. Notre étude révèle le rôle crucial de la conception précise des invites et suggère que la génération d'instructions de type humain pour GPT-4 n'est pas directement possible pour la tâche de proximité sémantique. Nous montrons que de petites modifications des directives humaines améliorent déjà les performances, suggérant des voies possibles pour des recherches futures.