Key points are not available for this paper at this time.
CopyCat est un jeu de langue des signes américaine (ASL) qui utilise la technologie de reconnaissance gestuelle pour aider les jeunes enfants sourds à pratiquer les compétences ASL. Nous décrivons une brève histoire du jeu, un aperçu des études récentes auprès des utilisateurs, et les résultats des travaux récents sur le problème de la reconnaissance continue de la langue des signes indépendante de l'utilisateur dans des environnements de classe. Notre base de données d'échantillons de signes a été collectée lors d'études sur des enfants sourds jouant à une version du jeu Le Magicien d'Oz à l'École des Sourds de la région d'Atlanta (AASD). Notre ensemble de données est caractérisé par des disfluences inhérentes à la signalisation continue, des caractéristiques utilisateurs variées incluant les vêtements et les teintes de peau, ainsi que des changements d'éclairage dans la salle de classe. L'ensemble de données était composé de 541 échantillons de phrases et de 1 959 échantillons individuels de signes de cinq enfants signant des phrases de jeu tirées d'un vocabulaire de 22 mots. Notre approche de reconnaissance utilise l'adaptation des histogrammes de couleur pour une segmentation et un suivi des mains robustes. Les enfants portent de petits gants colorés avec des accéléromètres sans fil montés à l'arrière de leurs poignets. Les informations de forme de main sont combinées avec les données des accéléromètres et utilisées pour former des modèles de Markov cachés pour la reconnaissance. Nous avons évalué notre approche en utilisant la validation leave-one-out ; cette technique itère à travers chaque enfant, s'entraînant sur les données de quatre enfants et testant sur les données de l'enfant restant. Nous avons obtenu des précisions moyennes des mots par enfant allant de 91,75 % à 73,73 % pour les modèles indépendants des utilisateurs.
Brashear et al. (Mon,) ont étudié cette question.