Reconocimiento de Gestos Dinámicos de Mano a partir de Datos de Movimiento 3D utilizando Arquitecturas LSTM y CNN

Los gestos de mano proporcionan una forma de comunicación natural y no verbal que puede aumentar o reemplazar otros modos de comunicación como el habla o la escritura. Junto con los comandos de voz, los gestos de mano se están convirtiendo en el medio principal de interacción en juegos, realidad aumentada y plataformas de realidad virtual. La precisión de reconocimiento, flexibilidad y costo computacional son algunos de los factores principales que pueden impactar la incorporación de gestos de mano en estas nuevas tecnologías, así como su posterior recuperación de corpus multimodales. En este artículo, presentamos sistemas de reconocimiento de gestos rápidos y altamente precisos basados en memoria a largo corto plazo (LSTM) y redes neuronales convolucionales (CNN) que están entrenados para procesar secuencias de entrada de posiciones y velocidades de mano en 3D adquiridas de sensores infrarrojos. Cuando se evalúan en el reconocimiento en tiempo real de seis tipos de gestos de mano, las arquitecturas propuestas obtienen una medida F del 97%, demostrando un potencial significativo para aplicaciones prácticas en interfaces novedosas de hombre-computadora.