행동 인식을 위한 차별적 순환 신경망

장기 단기 기억(LSTM) 신경망은 긴 입력 시퀀스에서 표현을 학습하기 위해 특별한 게이팅 방식을 활용하므로 복잡한 순차적 정보를 처리할 수 있습니다. 이는 현재의 숨겨진 상태가 과거의 숨겨진 상태의 맥락에서 고려되어야 하는 모든 순차적 시계열 데이터를 모델링할 수 있는 잠재력을 가지고 있습니다. 이 속성은 LSTM이 다양한 행동의 복잡한 역학을 배우기에 이상적인 선택이 되도록 합니다. 불행히도 기존의 LSTM은 시간이 지남에 따라 기억해야 할 정보를 게이트할 때 주어진 두드러진 운동 패턴에 해당하는 시공간 역학의 영향을 고려하지 않습니다. 이 문제를 해결하기 위해, 우리는 연속 프레임 사이에서 두드러진 운동에 의해 발생하는 정보 이득의 변화를 강조하는 LSTM 신경망을 위한 차별적 게이팅 방식을 제안합니다. 이 정보 이득의 변화는 상태의 미분(Derivative of States, DoS)으로 정량화되며, 따라서 제안된 LSTM 모델은 차별적 순환 신경망(dRNN)이라고 불립니다. 우리는 실제 2D 및 3D 인간 행동 데이터세트에서 행동을 자동으로 인식하여 제안된 모델의 효과를 입증합니다. 우리의 연구는 고차 미분을 통한 복잡한 시계열 표현 학습의 가능성을 입증하는 초기 작업 중 하나입니다.