Cet article présente une comparaison de quatre modèles Transformer (BERT, ALBERT, T5 et XLNet) dans le cadre de l'analyse des sentiments basée sur des données de médias sociaux. Deux ensembles de données ont été utilisés : l'ensemble de données X (Twitter) avec des tweets liés aux jeux et l'ensemble de données Emotion étiqueté dans les catégories colère, joie et peur. Le modèle a été entraîné dans les mêmes paramètres de prétraitement et d'entraînement, ainsi que dans les paramètres de test pour 3, 5, 7 et 10 époques. Des résultats ont été présentés, indiquant que la précision augmentait avec un nombre d'époques plus élevé. Les précisions maximales ont été atteintes dans le cas du modèle BERT — 88,63 % pour l'ensemble de données X ainsi que pour l'ensemble de données Emotion, 97,05 %. XLNet a montré un grand potentiel pour les dépendances à long terme, et ALBERT a obtenu des performances équilibrées grâce à son architecture légère. En revanche, les performances de T5 étaient inférieures par rapport aux autres. En général, on peut en conclure que l'architecture Transformer est supérieure aux techniques d'apprentissage machine traditionnelles dans le contexte de l'analyse des sentiments, grâce à une précision plus élevée et une meilleure compréhension contextuelle.
Erol Kına (Mer,) a étudié cette question.