視覚的注意を用いたアクション認識

我々は、動画でのアクション認識のタスクのためにソフトアテンションベースのモデルを提案する。空間的にも時間的にも深い多層リカレントニューラルネットワーク（RNN）を、長短期記憶（LSTM）ユニットと共に使用する。我々のモデルは、動画フレームの部分に選択的に焦点を合わせることを学習し、いくつかの視点を得た後に動画を分類する。モデルは、フレーム内のどの部分が現在のタスクに関連しているかを学習し、それらに対してより高い重要度を付与する。モデルをUCF-11（YouTube Action）、HMDB-51、Hollywood2データセットで評価し、シーンと実行されているアクションに応じてモデルがどのように注意を向けるかを分析する。