Aprendizado Profundo em Conjunto para Reconhecimento de Ação Baseado em Esqueleto Usando Redes LSTM Temporais Deslizantes

Este artigo aborda os problemas de representação de características das articulações do esqueleto e a modelagem da dinâmica temporal para reconhecer ações humanas. Métodos tradicionais geralmente utilizam sistemas de coordenadas relativos dependentes de algumas articulações e modelam apenas a dependência de longo prazo, excluindo as dependências de curto e médio prazo. Em vez de usar esqueletos brutos como entrada, transformamos os esqueletos em outro sistema de coordenadas para obter robustez em relação à escala, rotação e translação, e então extraímos características de movimento salientes deles. Considerando que redes de Memória de Longo Prazo e Curto Prazo (LSTM) com vários tamanhos de passo de tempo podem modelar bem vários atributos, propomos redes LSTM Temporais Deslizantes (TS-LSTM) em conjunto novel para reconhecimento de ação baseado em esqueleto. A rede proposta é composta por múltiplas partes contendo redes TS-LSTM de curto, médio e longo prazo, respectivamente. Em nossa rede, utilizamos um conjunto médio entre múltiplas partes como uma característica final para capturar várias dependências temporais. Avaliamos as redes propostas e outras arquiteturas adicionais para verificar a eficácia das redes propostas e também as comparamos com vários outros métodos em cinco conjuntos de dados desafiadores. Os resultados experimentais demonstram que nossos modelos de rede alcançam desempenho de última geração através de várias características temporais. Além disso, analisamos uma relação entre as ações reconhecidas e as características multi-temporais TS-LSTM visualizando as características softmax de múltiplas partes.