3D 스켈레톤 기반 인간 동작 예측을 위한 동적 다중 스케일 그래프 신경망

우리는 3D 스켈레톤 기반 인간 동작을 예측하기 위해 새로운 동적 다중 스케일 그래프 신경망(DMGNN)을 제안합니다. DMGNN의 핵심 아이디어는 동작 특징 학습을 위해 인간 신체의 내부 관계를 포괄적으로 모델링하기 위해 다중 스케일 그래프를 사용하는 것입니다. 이 다중 스케일 그래프는 훈련 중에 적응하며 네트워크 층 간에 동적입니다. 이 그래프를 기반으로, 우리는 개별 스케일에서 특징을 추출하고 스케일 간 특징을 융합하는 다중 스케일 그래프 계산 유닛(MGCU)를 제안합니다. 전체 모델은 동작 카테고리에 구애받지 않으며 인코더-디코더 프레임워크를 따릅니다. 인코더는 동작 특징을 학습하기 위해 MGCUs의 시퀀스로 구성됩니다. 디코더는 미래의 자세를 생성하기 위해 제안된 그래프 기반 게이트 순환 유닛을 사용합니다. 광범위한 실험을 통해 제안된 DMGNN이 Human 3.6M 및 CMU Mocap 데이터셋에서 단기 및 장기 예측 모두에서 최첨단 방법을 능가함을 보여줍니다. 우리는 또한 해석 가능성을 위해 학습된 다중 스케일 그래프를 추가로 조사합니다. 코드는 https://github.com/limaosen0/DMGNN 에서 다운로드할 수 있습니다.