L'autoencodeur variationnel d'adaptation de domaine multimodal (MMDA-VAE) a effectivement amélioré les performances de reconnaissance des émotions avec une petite quantité de données multimodales étiquetées.
Autre
La méthode MMDA-VAE améliore efficacement la performance de reconnaissance des émotions basée sur l'EEG en utilisant un petit échantillon d'échantillons de calibration.
La reconnaissance des émotions basée sur électroencéphalographie (EEG) traditionnelle nécessite un grand nombre d'échantillons d'étalonnage pour construire un modèle pour un sujet spécifique, ce qui limite l'application de l'interface cerveau-ordinateur affective (BCI) dans la pratique. Nous tentons d'utiliser les données multimodales de la session précédente pour réaliser la reconnaissance des émotions en cas de petite quantité d'échantillons d'étalonnage. Pour résoudre ce problème, nous proposons une méthode d'autoencodeur variationnel d'adaptation de domaine multimodal (MMDA-VAE), qui apprend des représentations latentes partagées inter-domaines des données multimodales. Notre méthode construit un autoencodeur variationnel multimodal (MVAE) pour projeter les données de plusieurs modalités dans un espace commun. Grâce à l'apprentissage adversarial et à la régularisation de cohérence cyclique, notre méthode peut réduire la différence de distribution de chaque domaine sur la couche de représentation latente partagée et réaliser le transfert de connaissance. D'importantes expériences sont réalisées sur deux ensembles de données publics, SEED et SEED-IV, et les résultats montrent la supériorité de notre méthode proposée. Notre travail peut améliorer efficacement la performance de reconnaissance des émotions avec une petite quantité de données multimodales étiquetées.
Wang et al. (Vendredi,) ont mené une autre étude sur la reconnaissance des émotions. L'autoencodeur variationnel adaptatif multi-modal (MMDA-VAE) a été évalué sur la performance de reconnaissance des émotions. L'autoencodeur variationnel adaptatif multi-modal (MMDA-VAE) a effectivement amélioré la performance de reconnaissance des émotions avec un petit nombre de données multi-modales étiquetées.