Análisis de Correlación Canónica de Tensores de Volumen de Video para la Categorización y Detección de Acciones

Este artículo aborda un problema de reconocimiento de patrones espaciotemporales. El principal objetivo de este estudio es encontrar una representación y un emparejamiento adecuados de volúmenes de video de acción para la categorización. Se propone un método novedoso para medir la similitud de volumen de video a video extendiendo el Análisis de Correlación Canónica (CCA), una herramienta fundamentada para inspeccionar relaciones lineales entre dos conjuntos de vectores, a la de dos arreglos de datos multidimensionales (o tensores). El método propuesto analiza los volúmenes de video como entradas evitando el difícil problema de la estimación de movimiento explícito requerido en métodos tradicionales y proporciona una forma de emparejamiento de patrones espaciotemporales que es robusta a las variaciones intraclase de las acciones. El emparejamiento propuesto se demuestra para la clasificación de acciones mediante un clasificador de Vecino Más Cercano simple. Además, proponemos un método automático de detección de acciones, que realiza una búsqueda en ventana 3D sobre un video de entrada con ejemplos de acción. La búsqueda se acelera mediante el aprendizaje dinámico de subespacios en el CCA propuesto. Los experimentos en un conjunto de datos de acción público (KTH) y un conjunto de datos de gestos de mano autograbados mostraron que el método propuesto es significativamente mejor que varios métodos de última generación en términos de precisión. Nuestro método tiene baja complejidad temporal y no requiere ningún parámetro de ajuste importante.