変換スケール不変の画像マッピングとマルチスケール深層CNNを用いた骨格ベースの行動認識

私たちは、3D骨格ビデオからの大規模な行動認識のための画像分類に基づくアプローチを提示します。まず、3D骨格ビデオをカラー画像にマッピングし、変換された行動画像は変換スケールに不変であり、データセットに依存しません。次に、画像分類タスクのためにマルチスケール深層畳み込みニューラルネットワーク（CNN）を提案し、モデルの時間的周波数調整を強化できるようにします。行動画像は自然画像とは非常に異なりますが、ファインチューニング戦略は依然としてうまく機能します。最後に、ネットワークの一般化能力を向上させるためにさまざまなデータ拡張メソッドを活用します。最も大規模で挑戦的なベンチマークNTU RGB-Dデータセットにおける実験結果は、私たちの方法が最先端の性能を達成し、他の方法を大幅に上回ることを示しています。