ディープニューラルネットワークのファインチューニングによるアラビア手話認識

手話は、聴覚障害者や難聴者の主なコミュニケーションツールと見なされています。視覚言語であり、手や体の他の部分を使って、コミュニケーションの完全なアクセスを必要とする人々に提供します。それに伴い、手話認識の自動化は人工知能と機械学習の分野において重要な応用の一つとなっています。具体的には、アラビア手話の認識は、さまざまな知的および伝統的なアプローチを使用して研究され、適用されてきましたが、ディープラーニングネットワークを使用してプロセスを改善する試みはほとんどありませんでした。本論文では、転移学習を活用し、深層畳み込みニューラルネットワーク（CNN）をファインチューニングして、アラビア手話からの32の手のジェスチャーを認識する精度を向上させます。提案された方法論は、VGG16およびResNet152の構造に一致するモデルを作成し、次に事前にトレーニングされたモデルの重みを各ネットワークの層に読み込み、最後に、最後の全結合層の後に自分自身のソフトマックス分類層を追加します。ネットワークは、異なるアラビア手話データの通常の2D画像で供給され、約99%の精度を提供できました。