Modèle d'estimation précoce pour la reconnaissance de la langue des signes indienne en 3D discrète utilisant l'alignement de graphes

La traduction automatique de la langue des signes est une tâche cruciale de la vision par ordinateur. Dans ce travail, nous proposons d'utiliser la technologie de capture de mouvement 3D pour la capture de signes et l'alignement de graphes pour la reconnaissance des signes. Deux problèmes liés à l'alignement des signes en 3D sont abordés dans ce travail : (1) comment identifier les mêmes signes avec un nombre différent de cadres de mouvement et (2) extraction de signes à partir d'un fouillis de mouvements des mains non-signifiants. Ces deux problèmes rendent la traduction automatique de la langue des signes en 2D ou 3D une tâche difficile. Nous proposons l'alignement de graphes avec un modèle d'estimation précoce pour aborder ces problèmes en deux phases. La première phase consiste en un alignement intra-graphe pour l'extraction des cadres de mouvement, qui conserve les cadres dansants intensifs dans la base de données et interroge des vidéos 3D. La deuxième phase applique l'alignement inter-graphe avec un modèle d'estimation précoce sur les vidéos 3D extraites. Le modèle proposé augmente la vitesse de l'algorithme d'alignement de graphes en estimant un signe avec moins de cadres. Pour tester le modèle d'alignement de graphes, nous avons enregistré 350 mots de la langue des signes indienne avec la technologie de capture de mouvement 3D. Pour tester, 4 variations par signe sont capturées pour tous les signes avec 5 différents signataires à des vitesses de main identiques, plus lentes, plus rapides et des mouvements de mains désordonnés. Le modèle d'alignement de graphes d'estimation précoce est testé pour la précision et l'efficacité dans la classification des signes 3D avec les deux contraintes en temps réel induites. En plus du jeu de données de la langue des signes en 3D, la méthode proposée est validée sur cinq jeux de données de référence et par rapport aux méthodes d'alignement de graphes à la pointe de la technologie.