Alabib-65 : Un ensemble de données réaliste pour la reconnaissance de la langue des signes algérienne

La reconnaissance de la langue des signes (RLS) est un domaine de recherche prometteur qui vise à estomper les frontières entre les personnes sourdes et entendantes en créant un système capable de transcrire les signes en une langue écrite ou vocale. Il existe une littérature croissante qui étudie la reconnaissance de différentes langues des signes, en particulier la langue des signes américaine. Jusqu'à présent, à notre connaissance, aucune étude n'a considéré la RLS algérienne. Cela est principalement dû au manque d'ensembles de données. Pour remédier à ce problème, nous avons créé l'Alabib-65, le premier ensemble de données sur la langue des signes algérienne. Il se compose de jusqu'à 6 238 vidéos enregistrées par 41 signataires natifs dans des conditions réalistes. Cet ensemble de données présente des défis pour diverses raisons. Premièrement, il y a peu de variabilité inter-classe. Les 65 classes de signes sont similaires en termes de configuration des mains, de placement ou de mouvement et peuvent partager les mêmes sous-parties. Deuxièmement, il y a une grande variabilité intra-classe. De plus, par rapport à d'autres ensembles de données SL collectés dans un environnement intérieur avec un fond statique et simple, nos vidéos ont été enregistrées tant dans des environnements intérieurs qu'extérieurs avec 22 fonds variant de simples à encombrés, et de statiques à dynamiques. Pour soutenir les recherches futures, nous avons fourni des résultats de référence sur ce nouvel ensemble de données en utilisant des méthodes d'apprentissage automatique à la pointe de la technologie, à savoir : IDTFs avec vecteur Fisher et classificateur SVM, VGG16-GRU, I3D, I3D-GRU et I3D-GRU-Attention. Les résultats montrent la validité et les défis de notre ensemble de données.