Observación del Progreso en Tutoriales de Ensamblaje en Realidad Aumentada Usando Reconocimiento Dinámico de Gestos Manuales

Proponemos una aplicación de tutorial de ensamblaje en realidad aumentada como prueba de concepto que utiliza un visor de video transparente para guiar al usuario a través de los pasos de las instrucciones de ensamblaje. Se controla únicamente mediante la observación de las interacciones físicas del usuario con la pieza de trabajo. El tutorial avanza automáticamente, utilizando la clasificación de gestos manuales para estimar el progreso hacia la siguiente instrucción. Para la clasificación dinámica de gestos manuales, integramos un módulo de red neuronal para clasificar el movimiento de la mano del usuario en tiempo real. Evaluamos el modelo aprendido utilizado en nuestra aplicación para proporcionar información sobre el rendimiento de las interacciones gestuales implícitas.