音频、视频、EEG 和 EMG 的情感识别：数据集和基准方法

本文描述了一个新的造 pose 多模态情感数据集，并比较了基于四种不同模态（音频、视频、肌电图（EMG）和脑电图（EEG））的人类情感分类。结果通过几种基准方法报告，使用各种特征提取技术和机器学习算法。首先，我们从 11 个受试者那里收集了表达六种基本情感和一种中性情感的数据集。然后，我们使用主成分分析、自编码器、卷积网络和梅尔频率倒谱系数（MFCC）从每种模态中提取特征，其中一些特征是特定于单个模态的。我们应用了一系列基准模型来比较情感识别中的分类性能，包括最近邻（KNN）、支持向量机（SVM）、随机森林、多层感知器（MLP）、长短期记忆（LSTM）模型和卷积神经网络（CNN）。我们的结果表明，通过引导生物传感器信号（即 EMG 和 EEG）可以通过减少噪声显著提高情感分类性能。相比之下，最佳分类结果是通过传统的 KNN 获得的，而使用 LSTM 可以更好地分类人类情感的音频和图像序列。