Reconnaître les actions par des arbres prototypes de forme et de mouvement

Une approche basée sur des prototypes est introduite pour la reconnaissance d'actions. L'approche représente une action comme une séquence de prototypes pour un appariement d'actions efficace et flexible dans de longues séquences vidéo. Pendant l'entraînement, d'abord, un arbre prototype d'action est appris dans un espace de forme et de mouvement conjoint via un clustering hiérarchique k-means ; ensuite, une table de consultation des distances prototype à prototype est générée. Lors des tests, sur la base d'un modèle de vraisemblance conjointe de la position de l'acteur et du prototype d'action, l'acteur est suivi tandis qu'une correspondance image à prototype est établie en maximisant la vraisemblance conjointe, ce qui est effectué de manière efficace en recherchant dans l'arbre prototype appris ; ensuite, les actions sont reconnues via un appariement dynamique de séquences de prototypes. Les matrices de distances utilisées pour l'appariement de séquences sont rapidement obtenues par indexation de la table de consultation, ce qui est d'un ordre de grandeur plus rapide que le calcul de force brute des distances image à image. Notre approche permet un appariement robuste des actions dans des situations très difficiles (telles que des caméras en mouvement, des arrière-plans dynamiques) et permet un alignement automatique des séquences d'actions. Les résultats expérimentaux montrent que notre approche atteint des taux de reconnaissance de 91,07 % sur un grand ensemble de données de gestes (avec des arrière-plans dynamiques), 100 % sur l'ensemble de données d'action Weizmann et 95,77 % sur l'ensemble de données d'action KTH.