効率的なアクション検出のためのアクトムシーケンスモデル

我々は、飲むことやドアを開けることなどのアクションを数時間にわたる困難なビデオデータから検出する問題に取り組みます。アクションに特有の原子的アクションユニットのシーケンスに基づくモデル、すなわち「アクトム」を提案します。私たちのモデルは、アクションの時間構造をアクトムに基づく視覚特徴のヒストグラムのシーケンスとして表現します。この表現は、特徴のバッグの時間的構造化された拡張として見ることができ、柔軟で、スパースで、識別的です。私たちのモデルはアクトムシーケンスモデル（ASM）と呼ばれます。トレーニングには、アクションクリップのためのアクトムの注釈が必要です。テスト時には、アクトムはアクトムの分布に関する非パラメトリックモデルに基づいて自動的に検出され、これはアクションの時間構造に対する事前情報としても機能します。最近の2つの時間アクション検出のベンチマーク「コーヒーとタバコ」とデータセットでの実験結果を示します。私たちのASM手法が、時間的アクション検出における現在の最先端を超えていることを示します。