Mesure de trajectoire et analyse cinématique des doigts multi-articulaires basée sur la vision par machine

Une méthode pour mesurer les trajectoires des doigts multi-articulaires est proposée en utilisant MediaPipe. Dans cette méthode, une caméra haute vitesse est utilisée pour enregistrer les mouvements des doigts. Par la suite, les données de mouvement des doigts enregistrées sont entrées dans MediaPipe, où le système extrait automatiquement les données de coordonnées des points clés des mouvements des doigts. De cela, nous obtenons des données relatives à la trajectoire des mouvements des doigts. Afin de vérifier l'exactitude et l'efficacité de cette méthode expérimentale, nous l'avons comparée à la méthode DH et à la méthode d'alignement des points clés artificiels en termes de métriques telles que le MAPE (erreur pourcentage absolue moyenne), l'erreur de distance maximale et le temps nécessaire pour traiter 500 images. Les résultats ont montré que notre méthode peut détecter plusieurs articulations des doigts de manière naturelle, efficace et précise. Ensuite, nous avons mesuré la posture pour trois mouvements de main sélectionnés. Nous avons déterminé les coordonnées de position des articulations et calculé l'accélération angulaire de la rotation des articulations. Nous avons observé que l'accélération angulaire peut fluctuer de manière significative sur une très courte période (moins de 100 ms), dans certains cas augmentant à plus de dix fois l'accélération initiale. Cette découverte souligne la complexité des mouvements des articulations des doigts. Cette étude peut fournir un soutien et une référence pour la conception de robots de réhabilitation des doigts et de mains adroites.