Un nouveau modèle d'analyse des sentiments multimodal basé sur la fusion contrôlée et l'apprentissage multitâche

L'analyse des sentiments est un domaine de recherche important en traitement du langage naturel (NLP). Avec l'explosion des données multimodales, l'analyse des sentiments multimodale (MSA) attire de plus en plus l'attention ces dernières années. Comment exploiter efficacement l'interaction entre les diverses modalités est primordial pour atteindre une fusion complète de la MSA. Cependant, les recherches actuelles mettent principalement l'accent sur l'interaction des modalités, tout en négligeant l'information unimodale, négligeant ainsi les disparités inhérentes entre les modalités. Pour résoudre ces problèmes, nous proposons un modèle novateur pour l'analyse des sentiments multimodale basé sur la fusion contrôlée et l'apprentissage multitâche. Le modèle adopte l'apprentissage multitâche pour traiter simultanément les tâches d'analyse des sentiments multimodales et unimodales. Plus précisément, pour la tâche multimodale, nous exploitons des transformateurs cross-modal avec des mécanismes de contrôle pour faciliter la fusion des modalités. Par la suite, les représentations fusionnées sont utilisées pour générer des étiquettes de sentiment pour les tâches unimodales. Des expériences sur les ensembles de données CMU-MOSI et CMU-MOSEI démontrent que notre modèle surpasse les méthodes existantes et atteint des performances de pointe.