利用多模态视频语义层次进行E-learning中的情感识别

在E-learning中，准确识别学习者的情感是提升学习成果和教学质量的关键前提。大多数现有的情感识别研究通过整合学习者的生理信号和面部表情来识别情感，但这些研究往往忽视了嵌入指令视频中的不同语义层次对学习者情感的影响。因此，我们创新性地提出了一种基于多模态视频语义层次的情感识别模型。该模型构建分层视频语义，并通过分层堆叠逐渐整合这些语义。然后将这种融合的语义表示与学习者的眼动生理信号结合，以提高情感识别性能。在三个公共多模态生理数据集VLMED、HCI-Tagging和DEAP上的实验结果证实了该模型在情感识别任务中的有效性。