Reconnaissance de la langue des signes utilisant Microsoft Kinect

Au cours de la dernière décennie, beaucoup d'efforts ont été déployés par la communauté de recherche pour créer un système de reconnaissance de la langue des signes qui offre un moyen de communication pour les personnes handicapées et dont les traductions pour machines aident les autres à comprendre ces langages des signes. La vision par ordinateur et l'apprentissage automatique peuvent être appliqués collectivement pour créer de tels systèmes. Dans cet article, nous présentons un système de reconnaissance de la langue des signes qui utilise des images de profondeur capturées avec une caméra Microsoft Kinect®. En utilisant des algorithmes de vision par ordinateur, nous développons un profil de profondeur et de mouvement caractéristique pour chaque geste en langue des signes. La matrice de caractéristiques ainsi générée a été entraînée à l'aide d'un classificateur SVM multiclass et les résultats finaux ont été comparés avec les techniques existantes. Le jeu de données utilisé concerne les gestes de la langue des signes pour les chiffres 0-9.