階層的空間-時間切り離しによるテキストから動画生成へのアプローチ

拡散モデルがフォトリアルな画像を生成する強力な能力を示しているにもかかわらず、リアルで多様な動画の生成はまだ初期段階にあります。その主な理由の一つは、現在の手法が空間的内容と時間的ダイナミクスを結び付けているため、テキストから動画生成（T2V）の複雑さが著しく増加することです。本研究では、HiGenという拡散モデルに基づく手法を提案し、構造レベルと内容レベルの二つの視点から動画の空間的要因と時間的要因を切り離すことで性能を向上させます。構造レベルでは、統一されたデノイザーを用いて、T2Vタスクを空間的推論と時間的推論という二つのステップに分解します。具体的には、空間的推論時にテキストを使用して空間的に一貫した事前情報を生成し、その後、時間的推論時にこれらの事前情報から時間的に一貫した動きを生成します。内容レベルでは、入力動画の内容から動きと外観の変化をそれぞれ表現できる二つの微妙な手がかりを抽出します。これらの二つの手がかりはモデルの動画生成のための訓練を導き、柔軟な内容の変化を可能にし、時間的安定性を高めます。切り離されたパラダイムを通じて、HiGenはこのタスクの複雑さを効果的に削減し、意味的精度と動きの安定性を持つリアルな動画を生成できます。広範な実験により、HiGenが最先端のT2V手法を上回る優れた性能を示すことを確認しました。ソースコードとモデルを公開しています。