自動顔再現

既存のターゲットビデオのアクターの顔を、ソースビデオのユーザーの顔と置き換え、元のターゲットのパフォーマンスを保持する画像ベースの顔再現システムを提案します。我々のシステムは完全に自動化されており、ソースの表情のデータベースを必要としません。代わりに、ユーザーが任意の顔のジェスチャーを行う短いソースビデオから説得力のある再現結果を生成することができます。再現パイプラインは、画像検索の要素と顔転送の要素を組み合わせて構成されています：画像検索は、ターゲットフレームの時間的クラスタリングと、外観と動作を組み合わせてソースビデオから候補フレームを選択する新しい画像マッチング指標に基づいています。一方、顔転送は、ユーザーのアイデンティティを保持する2Dワーピング戦略を使用します。我々のシステムは、3D顔モデルに依存せず、頭の動きに対して頑健であり、ソースとターゲットのパフォーマンスが類似している必要がありません。自分たちで録画したビデオや、インターネットから取得した低品質の映像に対しても説得力のある再現結果を示します。