Key points are not available for this paper at this time.
在本文中,我们提出了一种基于HMM轨迹引导的真实图像样本串联方法,用于照片逼真的对话头合成。它生成与给定语音信号同步的发音器平滑自然的视频。首先使用音频-视觉数据库训练唇部运动的统计隐马尔可夫模型(HMM),然后训练的模型用于为给定的语音信号生成唇部运动的视觉参数轨迹,所有这些都是在最大似然的意义下进行的。HMM生成的轨迹随后被用作指导,在原始训练数据库中选择一系列最佳口部图像,然后将它们拼接回背景头视频。整个过程是完全自动化的,并且以数据驱动。即使是从一位发言者那里获得短至20分钟的音频/视频片段,所提出的系统也能合成出与给定语音信号同步的高度照片逼真的视频。该系统在LIPS2009挑战中的音频-视觉配对比赛中获得了第一名,该评估是由招募的受试者进行的。 索引词:视觉语音合成,照片逼真,对话头,轨迹引导
王等人(Sun,)研究了这个问题。