SignEase - 手話通訳モデル 機械学習とコンピュータビジョン技術を使用したインド手話解釈モデル

要約: 本研究は、グリッドベース（制御点）特徴を使用してインド手話（ISL）から手のポーズやジェスチャーを認識するために設計されたリアルタイムシステムを紹介します。主な目的は、聴覚障害者や言語障害者と一般社会との間のコミュニケーションの障壁を解消することです。既存のソリューションは、精度とリアルタイム性能のいずれかで苦労することが多いですが、私たちのシステムは両方の側面で優れています。インド手話の手のジェスチャーを正確に識別できます。認識機能に加えて、ユーザーがISL、ASLなどを効率的に学習および練習できる「学習ポータル」を提供し、そのアクセス可能性と効果を向上させます。特に、このシステムはスマートフォンのカメラ入力のみに依存し、手袋や特別なセンサーなどの外部ハードウェアを必要とせず、ユーザーフレンドリーさを確保しています。使用される主な技術には、MediaPipe、cvzoneなどのモジュールを使用した手の検出と、手のポーズを簡潔な特徴ベクトルに変換するグリッドベースの特徴抽出が含まれます。これらの特徴は、その後、正確な翻訳のための分類を目的としてTensorFlow提供のデータベースと比較されます。