Reconhecimento de Ação Baseado em Esqueleto com Redes Neurais Convolucionais Gated

Para reconhecimento de ação baseado em esqueleto, a maioria dos trabalhos existentes usou redes neurais recorrentes. O uso de redes neurais convolucionais (CNNs) é uma solução atraente considerando suas vantagens em paralelização, eficácia na aprendizagem de características e suficiência da base do modelo. Além disso, os dados de esqueleto são características de baixa dimensão. É natural organizar uma sequência de características de esqueleto cronologicamente em uma imagem, que retém a informação original. Portanto, resolvemos o problema de aprendizagem de sequência como uma tarefa de classificação de imagem usando CNNs. Para melhor capacidade de aprendizagem, construímos uma rede de classificação com blocos residuais empilhados e com um design especial chamado conexão linear skip gated, que pode beneficiar a propagação de informações através de múltiplos blocos residuais. Ao organizar as coordenadas das articulações do corpo em um quadro em uma característica de esqueleto, investigamos sistematicamente o desempenho das ordens baseadas em partes, baseadas em cadeias e baseadas em percursos. Além disso, uma rede de permutação totalmente convolucional é projetada para aprender uma ordem otimizada para o rearranjo de dados. Sem qualquer frescura, nosso modelo proposto atinge desempenho de última geração em dois conjuntos de dados de referência desafiadores, superando significativamente os métodos existentes.