用于基于图像的脑电情绪识别的图嵌入卷积神经网络

基于脑电图（EEG）信号的情绪识别在情感计算中一直至关重要。在本文中，我们通过将多通道EEG信号转换为图像来评估EEG情绪识别，以便考虑更丰富的空间信息，并将基于EEG的情绪识别问题转化为图像识别问题。为此，我们提出了一种从离散EEG信号生成连续图像的新方法，通过为每个EEG通道引入服从高斯分布的偏移变量，以缓解图像生成过程中电极坐标的有偏问题。此外，提出了一种新型图嵌入卷积神经网络（GECNN）方法，将局部卷积神经网络（CNN）特征与全局功能特征相结合，以提供互补的情绪信息。在GECNN中，应用注意力机制提取更具判别性的局部特征。同时，动态图滤波探索了不同EEG脑区之间的内在关联。局部和全局功能特征最终进行融合以实现情绪识别。在被试依赖和被试独立协议下进行了广泛的实验，在四个数据集（即SEED、SDEA、DREAMER和MPED）上评估了所提出的GECNN模型的性能。