深層学習手法に基づく音楽知覚教育におけるジェスチャー対話型ロボットとの人工知能の採用

本研究は、音楽教育に対する学生の興味を高め、現代的な教育を促進することを目的としています。人工知能のジェスチャー対話型ロボットの分散アプリケーションシステムを深層学習技術を通じて設計し、音楽知覚教育に適用します。まず、ユーザーのジェスチャー指示データは二重チャネル畳み込みニューラルネットワーク（DCCNN）を通じて収集されます。これは、画像内の特徴情報を抽出し、ビデオフレームのジェスチャー指示を収集するために、二重サイズの畳み込みカーネルを使用します。次に、二ストリーム畳み込みニューラルネットワーク（二ストリームCNN）が収集されたジェスチャー指示データを認識します。RGBカラー方式（RGB）画像と光学フロー画像から空間的および時間的情報が抽出され、二ストリームCNNに入力されて各ネットワークの予測結果を融合し、最終的な検出結果とします。その後、対話型ロボットが使用する分散システムが導入されます。この構造は、対話型システムの安定性を向上させ、ローカルハードウェアのパフォーマンスに対する要件を減少させることができます。最後に、ジェスチャーコマンドの取得と認識ネットワーク、及び実践におけるジェスチャー対話型ロボットの性能をテストするための実験が行われます。結果は、式を組み合わせることで、DCCNNの認識精度が98%に向上し、効果的にジェスチャー指示データを収集できることを示しています。二ストリームCNNの訓練後のジェスチャー認識精度は90%に達し、同じデータセットで訓練された主流の動的ジェスチャー認識アルゴリズムよりも高いです。最後に、ここで報告されているジェスチャー対話型ロボットでジェスチャー指示の認識テストが行われました。結果は、ジェスチャー対話型ロボットの認識精度が90%以上で、日常的な対話ニーズを満たしていることを示しています。したがって、対話型ジェスチャーロボットは優れた信頼性と安定性を持ち、音楽知覚教育に適用可能です。ここで報告された研究は、複数の知覚モードによる音楽教育の構築に対し、指導的意義があります。