带有自适应位移生成和变换器融合的特征表示学习用于微表情识别

微表情是自发、快速和细微的面部运动，无法伪造或抑制。它们是非常重要的非语言交流线索，但由于瞬态和低强度，因此难以识别。最近，基于深度学习的方法已经被开发用于微表情（ME）识别，利用特征提取和融合技术。然而，针对微表情特征的特征学习和有效特征融合仍需进一步研究。为了解决这些问题，我们提出了一种新的框架，即带有自适应位移生成和变换器融合的特征表示学习（FRL-DGT），其中使用具有自监督学习的卷积位移生成模块（DGM）从起始/顶点帧中提取动态特征，旨在随后进行微表情识别任务，并应用由三个基于变换器的融合模块（基于AU区域的局部、全局融合和全脸融合）组成的精心设计的变换器融合机制，以提取DGM后的多级信息特征，以进行最终的微表情预测。通过坚实的留一被试法（LOSO）评估结果的广泛实验证明，我们提出的FRL-DGT优于最先进的方法。