鲁棒动态面部表情识别

动态面部表情识别（DFER）是一项新兴的研究领域，涉及视频数据中面部表情的自动识别。尽管现有研究主要集中在噪声样本和困难样本下的表征学习，但这两种样本共存的问题仍未得到解决。为了克服这一挑战，本文提出了一种区分困难样本与噪声样本的鲁棒方法。该方法通过评估模型在视频不同采样片段上的预测一致性来实现。随后，可采用增强困难样本学习并减轻噪声样本影响的方法。此外，为了识别视频中的主要表情并增强模型的表征学习能力，本文提出了一种包含关键表情重采样框架和双流分层网络的方法，即鲁棒动态面部表情识别（RDFER）。关键表情重采样框架旨在识别关键表情，从而减少非目标表情可能引起的混淆。RDFER 采用两个序列模型，旨在解耦短期面部运动和长期情感变化。在 DFEW 和 FERV39K 等基准数据集上的大量实验表明，所提出的方法优于当前 DFER 中的 State-Of-The-Art 方法。全面的分析为所提出的一致性评估提供了有价值的见解和观察。这项工作对动态面部表情识别领域具有重要意义，并推动了动态面部表情识别中噪声一致鲁棒学习领域的进一步发展。代码可从 https://github.com/Cross-Innovation-Lab/RDFER 获取。