Redes Neurais Recorrentes Diferenciais para Reconhecimento de Ações

A rede neural de memória de longo prazo e curto prazo (LSTM) é capaz de processar informações sequenciais complexas, pois utiliza esquemas de controle especiais para aprender representações a partir de longas sequências de entrada. Ela tem o potencial de modelar qualquer dado de série temporal sequencial, onde o estado oculto atual deve ser considerado no contexto dos estados ocultos passados. Essa propriedade torna a LSTM uma escolha ideal para aprender a dinâmica complexa de várias ações. Infelizmente, os LSTMs convencionais não consideram o impacto da dinâmica espaço-temporais correspondentes aos padrões de movimento salientes dados, quando filtram a informação que deve ser memorizada ao longo do tempo. Para abordar esse problema, propomos um esquema de controle diferencial para a rede neural LSTM, que enfatiza a mudança na aquisição de informação causada pelos movimentos salientes entre os quadros sucessivos. Essa mudança na aquisição de informação é quantificada pela Derivada dos Estados (DoS) e, assim, o modelo LSTM proposto é denominado Rede Neural Recorrente Diferencial (dRNN). Demonstraremos a efetividade do modelo proposto reconhecendo automaticamente ações a partir de conjuntos de dados reais de ações humanas em 2D e 3D. Nosso estudo é um dos primeiros trabalhos a demonstrar o potencial de aprender representações complexas de séries temporais via derivadas de alta ordem dos estados.