Interprétation de l'analyse des sentiments avec l'humain dans la boucle

L'humain dans la boucle a reçu une attention particulière de la part de la communauté de la science des données et de l'apprentissage automatique. Il est essentiel de réaliser les avantages du feedback humain et le besoin pressant d'annotation manuelle pour améliorer la performance de l'apprentissage automatique. Les récentes avancées dans le traitement du langage naturel (NLP) et l'apprentissage automatique ont créé des défis et des opportunités uniques pour la recherche en humanités numériques. En particulier, il existe de nombreuses opportunités pour les chercheurs en NLP et en apprentissage automatique d'analyser des données provenant de textes littéraires et d'utiliser ces textes sources complexes pour élargir notre compréhension du sentiment humain en utilisant l'approche humain dans la boucle. Cet article présente notre compréhension de la façon dont les annotateurs humains diffèrent des annotateurs machines dans les tâches d'analyse des sentiments et comment ces différences peuvent contribuer à concevoir des systèmes pour l'analyse des sentiments « humain dans la boucle » dans des textes complexes et non structurés. Nous explorons également les défis et les avantages de la collaboration homme-machine pour l'analyse des sentiments en utilisant une étude de cas dans la tragédie grecque et abordons certaines questions ouvertes sur l'annotation collaborative des sentiments dans les textes littéraires. Nous nous concentrons principalement sur (i) une analyse des défis des tâches d'analyse des sentiments pour les humains et les machines, et (ii) si des résultats d'annotation cohérents sont générés par plusieurs annotateurs humains et plusieurs annotateurs machines. Pour les annotateurs humains, nous avons utilisé une approche basée sur un sondage avec environ 60 étudiants universitaires. Nous avons sélectionné six outils d'analyse des sentiments populaires pour les annotateurs machines, y compris VADER, l'annotateur de sentiments de CoreNLP, TextBlob, LIME, Glove+LSTM, et RoBERTa. Nous avons mené une évaluation qualitative et quantitative avec l'approche humain dans la boucle et confirmé nos observations sur les tâches de sentiment en utilisant l'étude de cas de la tragédie grecque.