スケルトンベースのアクション認識のためのより強力で迅速なベースラインの構築

スケルトンベースのアクション認識における重要な問題の1つは、すべてのスケルトン関節から識別的特徴を抽出する方法です。しかし、このタスクに対する最近の最先端（SOTA）モデルの複雑さは、非常に洗練されすぎており、パラメータが過剰です。モデルのトレーニングと推論における低効率は、大規模データセットにおけるモデルアーキテクチャの検証コストを増加させています。この問題に対処するために、最近の先進的な分離可能な畳み込み層が初期融合された複数入力ブランチ（MIB）ネットワークに組み込まれ、スケルトンベースのアクション認識のための効率的なグラフ畳み込みネットワーク（GCN）ベースラインが構築されます。さらに、このベースラインに基づいて、モデルの幅と深さを同期して拡張するための複合スケーリング戦略を設計し、最終的に高精度で訓練可能なパラメータが少ない効率的なGCNベースラインのファミリーを得ることができます。これをEfficientGCN-Bxと呼び、「x」はスケーリング係数を示します。2つの大規模データセット、すなわちNTU RGB+D 60および120において、提案されたEfficientGCN-B4ベースラインは他のSOTA手法を上回り、例えばNTU 60データセットのクロスサブジェクトベンチマークで92.1%の精度を達成し、かつMS-G3Dの5.82倍小型で5.85倍高速です。MS-G3DはSOTA手法の1つです。Pytorch版のソースコードと事前トレーニングされたモデルはhttps://github.com/yfsong0709/EfficientGCNv1で入手可能です。