クロアチア手話に基づくスマートホーム制御のための動的ジェスチャー認識インターフェース

聴覚障害者や難聴者は、日常生活において多くの課題に直面しています。彼らのコミュニケーションは手話の使用に基づいており、文化的・社会的環境がその言語を完全に理解する能力が、彼らにとってのアクセス可能性を定義します。技術は、より高いアクセシビリティを達成し、したがって聴覚障害者や難聴者の生活の質を向上させるための解決策を提供する可能性を秘めています。本論文では、リアルタイムの手話認識を提供するために特別に設計されたスマートホーム自動化システムを紹介します。この論文の貢献は、いくつかの要素を含みます。リソースと時間に配慮したモジュールを含む新しい階層型アーキテクチャが提示され、ウェイクアップモジュールとConv3Dネットワークに基づく高性能手話認識モジュールが含まれています。高性能分類を達成するために、RGBと深度モダリティの多モーダル融合が時間的アラインメントと共に使用されました。その後、小さなクロアチア手話データベースが、聴覚障害者コミュニティとの共同で作成され、スマートホーム環境での使用のために25の異なる言語サインが含まれています。このシステムは、オンラインテストのためにStereoLabs ZED Mステレオカメラを搭載したNvidia Jetson TX2埋め込みシステムに展開されました。得られた結果は、提案された実践的な解決策がリアルタイムのスマートホーム制御に対する実行可能なアプローチであることを示しています。