Decodificador de gestos de mano basado en red neuronal convolucional profunda con agrupamiento espacial en pirámide compacto

Los actuales detectores de gestos de mano basados en red neuronal convolucional profunda (DCNN) con precisión aguda requieren una potencia de computación de alto rendimiento increíblemente alta. Aunque los detectores basados en DCNN son capaces de realizar clasificaciones precisas, la inmensa potencia de computación necesaria para esta forma de clasificación hace que sea muy difícil de operar con menor potencia computacional en entornos remotos. Además, las arquitecturas clásicas de DCNN tienen un número fijo de dimensiones de entrada, lo que obliga al preprocesamiento, haciendo que sea impráctico para aplicaciones del mundo real. En esta investigación, se propone una DCNN práctica con una arquitectura optimizada, utilizando la poda de filtros/nodos de DCNN, y se introduce el agrupamiento espacial en pirámide (SPP) para hacer que la dimensión de entrada del modelo sea invariante. Este módulo compacto SPP-DCNN utiliza un 65% menos de parámetros que los clasificadores tradicionales y opera casi 3 veces más rápido que los modelos clásicos. Además, el nuevo algoritmo mejorado propuesto, que decodifica gestos o deletreo con lengua de señas a partir de videos, ofreció la máxima precisión de referencia con la velocidad de procesamiento más rápida. Este método propuesto allana el camino para diversas aplicaciones prácticas y aplicadas de interacción humano-computadora (HCI) basadas en la entrada de gestos de mano.