時間構造と空間の詳細を共同学習することによるビデオインペインティング

私たちは、ビデオフレームの欠損領域を回復するための新しいデータ駆動型ビデオインペインティング方法を提示します。時間構造推論ネットワークと空間詳細回復ネットワークの2つのサブネットワークを含む新しい深層学習アーキテクチャが提案されています。時間構造推論ネットワークは3D完全畳み込みアーキテクチャに基づいて構築されており、3D畳み込みの高コストな計算要求から、低解像度のビデオボリュームを完成させることを学ぶだけです。低解像度の結果は、空間詳細回復ネットワークに対する時間的ガイダンスを提供し、2D完全畳み込みネットワークを使用して画像ベースのインペインティングを実行し、元の解像度で回復されたビデオフレームを生成します。このような二段階のネットワーク設計は、各フレームの空間品質とフレーム間の時間的整合性の両方を確保します。私たちの方法は、エンドツーエンドの方法で両サブネットワークを共同で訓練します。私たちは3つのデータセットで定性的および定量的な評価を提供し、私たちの方法が以前の学習ベースのビデオインペインティング方法を上回ることを示しています。