El Poder Está en Tus Manos: Análisis 3D de Gestos de Mano en Video Naturalista

Estudiamos la actividad humana natural en condiciones difíciles de fondo desordenado, iluminación volátil y oclusión frecuente. Para ello, se desarrolla un método de dos etapas para la detección de interacción entre la mano y objetos. Primero, se generan propuestas de actividad a partir de múltiples subregiones en la escena. Luego, estas se integran utilizando un clasificador de segunda etapa. Estudiamos un conjunto de descriptores para la detección y reconocimiento de actividad en términos de rendimiento y velocidad. Con el objetivo primordial de reducir el 'sesgo del entorno de laboratorio', se introduce un estudio de caso con un conjunto de datos RGB y de profundidad anotado y disponible públicamente. El conjunto de datos fue capturado utilizando un Kinect en configuraciones de conducción del mundo real. El enfoque se motiva al estudiar acciones, así como elementos semánticos en la escena y la interacción del conductor con ellos, lo que puede utilizarse para inferir la falta de atención del conductor. El marco propuesto supera significativamente una línea base de última generación en nuestro conjunto de datos para la detección de manos.