PredRNN++: 時間的ディレンマを解決するための時空間予測学習に向けて

私たちは、動画予測学習のための改良された再帰ネットワークであるPredRNN++を発表します。より優れた時空間モデリング能力を追求する中で、私たちのアプローチは、新しい再帰ユニットである因果LSTMを利用し、隣接する状態間の遷移の深さを増加させ、空間的および時間的メモリを連鎖的なメカニズムで再編成します。しかし、動画予測学習には依然としてジレンマがあります: 複雑な変動を捉えるためにますます深いモデルが設計されている一方で、勾配の逆伝播においてより多くの困難を引き起こしています。この望ましくない影響を軽減するために、出力から長期入力への勾配の流れに代替の短い経路を提供する勾配ハイウェイアーキテクチャを提案します。このアーキテクチャは因果LSTMとシームレスに機能し、PredRNN++が短期および長期の依存関係を適応的に捉えることを可能にします。私たちは合成および実際の動画データセットの両方でモデルを評価し、消失勾配問題を軽減し、難しい物体遮蔽シナリオにおいても最先端の予測結果が得られる能力を示しました。