Aprendizaje de características de co-ocurrencia para el reconocimiento de acciones basado en esqueleto utilizando redes LSTM profundas regularizadas

El reconocimiento de acciones basado en esqueleto distingue las acciones humanas utilizando las trayectorias de las articulaciones del esqueleto, que proporcionan una representación muy buena para describir acciones. Considerando que las redes neuronales recurrentes (RNN) con memoria a largo y corto plazo (LSTM) pueden aprender representaciones de características y modelar automáticamente las dependencias temporales a largo plazo, proponemos una red LSTM profunda completamente conectada de extremo a extremo para el reconocimiento de acciones basado en esqueleto. Inspirados en la observación de que las co-ocurrencias de las articulaciones caracterizan intrínsecamente las acciones humanas, tomamos el esqueleto como entrada en cada intervalo de tiempo e introducimos un nuevo esquema de regularización para aprender las características de co-ocurrencia de las articulaciones del esqueleto. Para entrenar la red LSTM profunda de manera efectiva, proponemos un nuevo algoritmo de abandono que opera simultáneamente en las compuertas, celdas y respuestas de salida de las neuronas LSTM. Los resultados experimentales en tres conjuntos de datos de reconocimiento de acciones humanas demuestran consistentemente la efectividad del modelo propuesto.