バークレーMHAD：包括的なマルチモーダルヒューマンアクションデータベース

これまでの数年間で、画像、動画、そして最近では深度データから人間のポーズと動作情報を分析するための多くの手法が提案されています。しかし、大部分の手法は、それぞれのアプリケーションに特化しすぎたデータセットで評価されており、特定のモダリティに限定され、さらに重要なことに未知の条件下で取得されています。これらの問題に対処するために、私たちは、光学モーションキャプチャシステム、複数のビューからのマルチベースラインステレオカメラ、深度センサー、加速度計、マイクロフォンからの時間的に同期された幾何学的にキャリブレーションされたデータで構成されるバークレーマルチモーダルヒューマンアクションデータベース（MHAD）を紹介します。この制御されたマルチモーダルデータセットは、研究者に対して、既知のキャプチャ条件の下でのさまざまな研究分野における新しいアルゴリズムを開発し、ベンチマークするための包括的なテストベッドを提供します。MHADがアクション認識に使用される可能性を示すために、各モダリティに独立して適応された人気のあるボキャブラリのバグ（Bag-of-Words）アルゴリズムを使用した結果と、複数のモダリティの組み合わせの結果を比較します。我々の比較結果は、ヒューマンモーションのマルチモーダル分析がユニモーダル分析よりも優れたアクション認識率をもたらすことを示しています。