スポーツ審判トレーニングのための階層的ハンドジェスチャー認識フレームワーク - EMGおよび加速度計センサー

プロフェッショナルなスポーツ審判を育成するため、我々はスポーツ審判トレーニングシステムを開発しました。このシステムは、Myoアームバンドを着用したトレーニーが録画されたプロの試合を観ながら正しい判定信号を出しているかを認識することができます。このシステムは、公式審判信号（ORS）に関連するジェスチャーのセットと、システムと直感的に対話するために使用される別のジェスチャーのセットを正しく認識する必要があります。これら2つのジェスチャーセットには、大きな動きのジェスチャーと微妙な動きのジェスチャーが含まれており、手作りの特徴を使用した既存のセンサーに基づく方法では、これらのすべてのジェスチャーを認識するのがうまくいきません。この研究では、ハンドジェスチャー認識のためにより代表的な特徴を学習するために深層信念ネットワーク（DBN）が利用され、選択的な手作りの特徴がDBNの特徴と組み合わされて、より堅牢な認識結果が得られます。さらに、入力ジェスチャーを大きな動きのジェスチャーまたは微妙な動きのジェスチャーとして最初に認識するための階層的認識スキームが設計され、大きな動きのジェスチャーおよび微妙な動きのジェスチャーに対する対応する分類器を使用して最終認識結果を取得します。さらに、Myoアームバンドは8チャネルの表面筋電図（sEMG）センサーと慣性計測ユニット（IMU）で構成され、これらの異種信号は融合されてより良い認識精度を達成することができます。バスケットボールを例として提案されたトレーニングシステムを検証し、実験結果はDBN特徴を考慮したマルチモーダリティデータの提案された階層的スキームが他の方法よりも優れていることを示しています。