トゥーンクラフター: ジェネレーティブカートゥーン補間

トゥーンクラフターを紹介します。これは、従来の対応ベースのカートゥーンビデオ補間を超えた新しいアプローチであり、ジェネレーティブ補間の道を開きます。従来の手法は、線形運動とディスオクルージョンのような複雑な現象がないことを暗黙に前提とするため、カートゥーンに一般的に見られる誇張された非線形および大きな運動、オクルージョンがある場合には、実行可能性のない、さらには失敗した補間結果に苦しむことがよくあります。これらの制限を克服するために、ライブアクションビデオのプライオリを適応させて、ジェネレーティブフレームワーク内でカートゥーン補間により適合させる可能性を探ります。トゥーンクラフターは、ライブアクションビデオの動きのプライオリをジェネレーティブカートゥーン補間に適用する際に直面する課題に効果的に対処します。まず、ライブアクションビデオのプライオリをカートゥーンドメインにシームレスに適応させるトゥーン補正学習戦略を設計し、ドメインギャップとコンテンツリーケージの問題を解決します。次に、高度に圧縮された潜在プライオリ空間による詳細の喪失を補うために、デュアルリファレンスベースの3Dデコーダを導入し、補間結果の細部を保持します。最後に、ユーザーが補間結果をインタラクティブに制御できる柔軟なスケッチエンコーダを設計します。実験結果は、提案した方法が視覚的に説得力のあるより自然なダイナミクスを生成するだけでなく、ディスオクルージョンにも効果的に対応することを示しています。比較評価は、私たちのアプローチが既存の競合他社に対して際立った優位性を持っていることを示しています。コードとモデルの重みは https://doubiiu.github.io/projects/ToonCrafter で入手できます。