アクション認識と検出のための空間的・時間的注意ネットワーク

最近、3D畳み込みニューラルネットワーク（3D CNN）モデルが動画シーケンスに対して広く研究されており、アクション認識や検出タスクにおいて満足のいく性能を達成しています。しかし、既存のほとんどの3D CNNは、すべての入力ビデオフレームを同等に扱うため、ビデオフレーム間の空間的および時間的な違いを無視しています。この問題に対処するために、フレームレベルとチャネルレベルの両方で有益な情報を特定することにより、アクションの識別的特徴表現を学習できる空間的・時間的注意（STA）ネットワークを提案します。空間と時間の次元の違いを同時に活用することによって、私たちのSTAモジュールは複雑なビデオ処理時に3D畳み込みの学習能力を強化します。提案されたSTAメソッドは、最新の3D CNNアーキテクチャに容易に組み込むことができる汎用モジュールとしてラップ可能です。私たちは、3つの人気データセット（UCF-101、HMDB-51、THUMOS 2014）におけるアクション認識と検出タスクに対して、私たちの方法を広範に評価し、実験結果は私たちのSTAネットワークモジュールを追加することでUCF-101およびHMDB-51で最新の性能を達成し、それぞれ98.4%および81.4%のトップ1精度を持ち、元のモデルと比較してTHUMOS 2014データセットでは著しい改善を達成することを示しています。