Redes Neurais Profundas Usando Rodovias Refinadas Rápidas-Lentas e Atenção Espacial Atômica Global para Reconhecimento e Detecção de Ações

Neste trabalho, propomos duas Redes Neurais Profundas, DNN-1 e DNN-2, baseadas em Rodovias Refinadas Rápidas-Lentas (FSRH) e Atenção Espacial Atômica Global (GASA) para reconhecer e detectar ações de forma eficaz. A DNN-1 proposta inclui uma Rede Neural Convolucional 3D (3DCNN), FSRH Residual (RFSRH), camada de redução e camada de classificação para reconhecimento de ações. Na detecção de ações de extração e classificação de região de sujeito, a DNN-2 proposta consiste em uma 3DCNN, rede de proposta de região, RFSRH, GASA e camada de classificação-localização. A 3DCNN utiliza a camada frontal até a camada “Mixed-3c” da rede Inflated 3D (I3D) pré-treinada como estrutura de backbone. A FSRH é composta por duas unidades de Rodovia Refinada (RH) para extrair um par de características de ações rápidas e lentas, onde a RH tem atenção temporal de uma convolução 3D não local e uma transformação afim por uma inception bilinear temporal. Na RFSRH, múltiplas FSRHs em cascata com diferentes conexões residuais foram investigadas para determinar a mais eficaz. A GASA calcula e concatena sequencialmente as características de correlação de um sujeito atômico e outros sujeitos para descobrir de forma eficaz informações semânticas de alto nível. Em estudos de ablação, experimentos extensivos foram realizados para demonstrar o desempenho superior da DNN-1 e DNN-2 propostas em cinco conjuntos de dados desafiadores de vídeo: JHMDB-21, UCF101-24, polícia de trânsito, Charades e AVA. Notavelmente, a DNN-1 proposta mostra desempenho de ponta em UCF101-24 e TP, enquanto a DNN-2 exibe desempenho de ponta em AVA e o segundo melhor em Charades, até onde sabemos. Portanto, a DNN-1 e a DNN-2 aqui propostas podem ser motores contextuais excepcionais para várias aplicações de compreensão de vídeo.