EPAM-Net: 動作認識のための効率的なポーズ駆動注意ガイド付きマルチモーダルネットワーク

既存のマルチモーダルに基づく人間の動作認識アプローチは、計算コストが高いため、リアルタイムシナリオでの適用が制限されるか、複数のデータモダリティの空間的・時間的情報を活用できていません。本研究では、動画の動作認識のための効率的なポーズ駆動の注意ガイド付きマルチモーダルネットワーク（EPAM-Net）を提案します。具体的には、RGB動画とその骨格シーケンスから空間・時間的特徴を捉えるために、RGBとポーズストリームの両方にX3Dネットワークを適応させました。次に、骨格特徴は、空間的時間的注意ブロックを使用して、視覚ネットワークストリームが主要なフレームとそれらの顕著な空間領域に焦点を合わせるのを助けるために利用されます。最後に、提案されたネットワークの2つのストリームのスコアを融合して最終分類を行います。実験結果は、我々の手法がNTU-D 60およびNTU RGB-D 120ベンチマークデータセットで競争力のある性能を達成したことを示しています。さらに、我々のモデルはFLOPs（浮動小数点演算、掛け算・足し算の数）を6.2～9.9倍削減し、ネットワークパラメータの数を9～9.6倍削減します。コードは https://github.com/ahmed-nady/Multimodal-Action-Recognition で入手可能です。