AIFit : Modèles de feedback automatiques interprétables en 3D pour l'entraînement physique

Je suis allé au gymnase aujourd'hui, mais à quel point ai-je bien réussi ? Et où devrais-je m'améliorer ? Ah, mon dos me fait légèrement mal... L'engagement de l'utilisateur peut être maintenu et les blessures évitées en étant capable de reconstruire la posture et le mouvement humains en 3D, de les relier à de bonnes pratiques d'entraînement, d'identifier les erreurs et de fournir un feedback précoce et en temps réel. Dans cet article, nous introduisons le premier système automatique, AIFit, qui réalise la détection humaine en 3D pour l'entraînement physique. Le système peut être utilisé à domicile, en extérieur ou au gymnase. AIFit est capable de reconstruire la posture, la forme et le mouvement humains en 3D, de segmenter de manière fiable les répétitions d'exercice et d'identifier en temps réel les écarts entre les normes apprises des entraîneurs et l'exécution d'un stagiaire. En conséquence, un retour localisé et quantitatif pour une exécution correcte des exercices, un risque de blessure réduit et une amélioration continue sont possibles. Pour soutenir la recherche et l'évaluation, nous introduisons le premier ensemble de données à grande échelle, Fit3D, contenant plus de 3 millions d'images et les configurations de vérité de terrain correspondantes en capture de forme et de mouvement humain en 3D, avec plus de 37 exercices répétés, couvrant tous les principaux groupes musculaires, réalisés par des instructeurs et des stagiaires. Notre coach statistique est gouverné par un paramètre global qui capture à quel point il devrait être critique par rapport à la performance d'un stagiaire. C'est un aspect important qui aide à s'adapter au niveau de forme d'un étudiant (c'est-à-dire débutant, avancé, expert) ou à l'exactitude attendue d'une méthode de reconstruction de pose en 3D. Nous montrons que, pour différentes valeurs du paramètre global, notre système de feedback basé sur les estimations de pose 3D atteint une bonne précision par rapport à celui basé sur la capture de mouvement de vérité de terrain. Notre coach statistique offre un feedback en langage naturel, avec un ancrage visuel spatio-temporel.