Reconocimiento de gestos de mano guiado por esqueleto sin conflictos para el control de robots

El análisis esquelético introducido por Kinect ha sido una forma eficiente de interacción. La interacción de análisis esquelético es más intuitiva y se alinea mejor con los comportamientos naturales humanos en comparación con los enfoques tradicionales. Sin embargo, el análisis esquelético a menudo tiene el problema de producir identificaciones de gestos en conflicto si dos movimientos de interacción son similares. Además, siempre reconoce erróneamente algunos movimientos corporales inconscientes o intencionales como gestos positivos. Con este fin, proponemos un nuevo método de interacción mejorado por algoritmos de visión y aprendizaje profundo. Se emplea una red neuronal residual mejorada para reconocer gestos que luego se utilizan para distinguir movimientos corporales similares. Se propone un esquema de interacción humano-computadora combinado que incluye tres componentes principales: (a) un enfoque de segmentación de forma de mano mejorado por detección de color de piel y seguimiento de articulaciones esqueléticas, (b) la detección aumentada por aprendizaje profundo para cambios de gestos y (c) un reconocimiento de comando de gesto basado en aprendizaje profundo para el control del robot. Se llevan a cabo experimentos utilizando el método propuesto para la interacción con robots. Los resultados demuestran que los movimientos corporales inconscientes pueden ser identificados con precisión. Los movimientos corporales similares también pueden ser distinguidos robustamente. El método propuesto puede ejecutarse en tiempo real con un rendimiento competitivo.