通过上下文-情感解耦实现个性化语音驱动情感3D对话面部动画

当人们带有情感地说话时，面部动作与上下文驱动的唇部动作和情感驱动的面部表情是相互耦合的。然而，现有的语音驱动情感3D面部生成方法旨在直接从语音生成情感对话面孔，而不解耦这些动作。这增加了训练过程中的模糊性，因为当前的面部动作是否与上下文或情感相关并不明确，妨碍了有效学习。为了有效解耦，我们引入了对比情感-面部损失，用于学习语音情感与对话唇部动作中的表情之间的映射。此外，由于个体具有独特的情感表达风格，我们利用个性化嵌入实现个性化的情感表达。通过优化个人特定的嵌入，所提出的方法可以生成以目标主体为个性化的情感对话面孔。最后，所提出的方法生成与语音的上下文和情感一致的头部动作，同时保持多样性。通过广泛的实验，证明我们的方法在动画情感3D对话面部动画方面相比于最先进的方法提高了7.18%的性能。