Une nouvelle méthode de reconnaissance des émotions basée sur la fusion des caractéristiques des signaux EEG et ECG à une seule dérivation

Les émotions sont complexes, et les gens varient considérablement dans leur précision à reconnaître leurs propres émotions et celles des autres. Avec les avancées en informatique et en neurosciences, il y a un désir d'utiliser des techniques automatisées pour aider les gens à identifier les émotions. Les signaux bioélectriques se sont révélés efficaces pour la détection des émotions, mais l'acquisition des électrocardiogrammes (ECG) et EEG conventionnels nécessite un équipement médical spécifique, qui est très coûteux, inconfortable et peu pratique en raison du grand nombre d'électrodes et du cuir chevelu couvert de cheveux. Dans cet article, une nouvelle méthode de reconnaissance des émotions basée sur la fusion des caractéristiques des signaux EEG et ECG à une seule dérivation est proposée, utilisant un modèle basé sur la mémoire à long terme et à court terme (LSTM)-MLP pour la fusion des caractéristiques et un modèle basé sur les CNN pour la classification, respectivement, avec une validation croisée à cinq reprises pour la validation. Les signaux ECG et EEG de 15 participants ont été collectés dans cinq états : 1) heureux ; 2) détendu ; 3) calme ; 4) triste ; et 5) peureux, chacun étant stimulé par la musique proposée par les participants eux-mêmes. Diverses caractéristiques du domaine temporel, caractéristiques du domaine fréquentiel et caractéristiques non linéaires ont été extraites des signaux ECG et EEG. Les résultats expérimentaux montrent que la précision de la reconnaissance des émotions et de la classification des signaux captés par le dispositif proposé peut atteindre 92,08 % en utilisant le modèle CNN. En utilisant le modèle de fusion des caractéristiques LSTM-MLP, le chiffre de précision peut être amélioré à 95,07 %. Les résultats de l'expérience d'ablation indiquent que l'approche de fusion des caractéristiques améliore la précision de reconnaissance. Il est démontré que le dispositif proposé et l'approche de reconnaissance émotionnelle sont efficaces et réalisables.