Intégration de la connectivité fonctionnelle et de l'adaptation de domaine pour la reconnaissance des émotions par EEG généralisable

La reconnaissance des émotions à l'aide de signaux EEG est difficile car les données EEG ne sont pas stationnaires, ont un faible rapport signal sur bruit, et varient beaucoup entre les sujets. Nous présentons un nouveau cadre hybride appelé CDA-GAF (Fusion d'Attention Graphique Adaptative Inter-Domaine) dans ce travail. Il combine les forces des Réseaux d'Attention Graphique (GAT), des Transformateurs Temporels, et de l'Adaptation de Domaine pour rendre les modèles de classification des émotions plus robustes et généralisables. Pour créer des graphes de connectivité cérébrale pour chaque bande de fréquence, notre méthode obtient d'abord les caractéristiques de connectivité fonctionnelle à partir des canaux EEG. Un module GAT traite ces caractéristiques pour trouver des dépendances spatiales dans l'activité EEG. Ensuite, un module de Transformateur Temporel est utilisé pour modéliser les dépendances à long terme entre les séquences EEG. Pour faire face aux variations entre sujets, nous implémentons une couche d'adaptation de domaine utilisant la perte CORAL ou l'Entraînement Adversarial de Domaine (DANN), qui aligne les distributions de caractéristiques entre les sujets sources et cibles. Nous utilisons également des signaux de supervision émotionnelle supplémentaires, tels que la variabilité de la fréquence cardiaque ou les micro-expressions, pour améliorer la qualité des étiquettes en ancrant l'état émotionnel de plusieurs manières. Nous testons notre modèle sur des ensembles de données standard comme DEAP, SEED, et WESAD. Il réussit beaucoup mieux que les modèles de référence à reconnaître les émotions tant dans des réglages intra-sujets qu'inter-sujets. Nos résultats soulignent l'efficacité de l'intégration de l'encodage spatial basé sur des graphes, des mécanismes d'attention temporelle, et de l'adaptation de domaine pour la reconnaissance des émotions à partir des données EEG.