基于骨骼的人类活动识别使用ConvLSTM和引导特征学习

摘要 人类活动识别旨在确定人类在图像或视频中执行的动作。人类活动的示例包括站立、奔跑、坐着、睡觉等。这些活动可能涉及复杂的运动模式和意外事件，例如摔倒。本文提出了一种新颖的深度卷积长短期记忆（ConvLSTM）网络，用于基于骨骼的活动识别和跌倒检测。所提的ConvLSTM网络是卷积神经网络（CNN）、长短期记忆（LSTM）网络和全连接层的顺序融合。采集系统应用人类检测和姿态估计，从图像/视频序列中预先计算骨骼坐标。ConvLSTM模型使用原始骨骼坐标及其特征几何和运动学特征来构建新颖的引导特征。几何和运动学特征基于相对关节位置值、关节之间的差异、选定关节之间的球形关节角度及其角速度构建。新颖的时空引导特征是使用经过训练的多玩家CNN-LSTM组合获得的。随后应用包括全连接层的分类头。提出的模型已在KinectHAR数据集上进行评估，该数据集包含130,000个样本和81个属性值，并在Kinect（v2）传感器的帮助下收集。实验结果与孤立CNN和LSTM网络的性能进行比较。提出的ConvLSTM达到了98.89%的准确率，优于分别具有93.89%和92.75%准确率的CNN和LSTM。该系统已在实时中进行了测试，并发现其独立于姿势、摄像头朝向、个体、服装等。代码和数据集将公开提供。