新しい視点からの3Dアクション認識

我々は、異なる未知の視点から取得された人間のポーズを、視点不変の高次空間に転送する人間ポーズ表現モデルを提案します。このモデルは深層畳み込みニューラルネットワークであり、非常に高価なマルチビューのトレーニングデータの大規模コーパスを必要とします。したがって、リアルなモーションキャプチャデータに合成3D人間モデルをフィッティングし、さまざまな視点から人間のポーズをレンダリングすることで、このデータを生成する方法を提案します。CNNモデルを学習する際には、アクションラベルではなく、すべてのトレーニングポーズをkクラスタにクラスタリングした後のポーズラベルのみを使用します。提案されたモデルは、再トレーニングやファインチューニングを必要とせずに、見えないポーズのリアル深度画像に一般化できることができます。リアル深度動画は、視点不変の特徴を抽出するためにフレームごとにモデルを通過します。時空間表現のために、我々はグループスパースフーリエ時間ピラミッドを提案し、提案された人間ポーズモデルのアクション特定の最も識別的な出力特徴を堅牢にエンコードします。2つのマルチビューおよび3つの単一ビューのベンチマークデータセットでの実験は、提案された方法がアクション認識において既存の最先端技術を劇的に上回ることを示しています。