3D 스켈레톤 기반 인간 동작 예측을 위한 동적 다중 스케일 그래프 신경망

우리는 3D 스켈레톤 기반 인간 동작을 예측하기 위해 새로운 동적 다중 스케일 그래프 신경망(DMGNN)을 제안합니다. DMGNN의 핵심 아이디어는 다중 스케일 그래프를 사용하여 동작 특징 학습을 위한 인간 몸의 내부 관계를 종합적으로 모델링하는 것입니다. 이 다중 스케일 그래프는 훈련 중에 적응 가능하며 네트워크 계층 간에 동적입니다. 이 그래프를 기반으로, 우리는 개별 스케일에서 특징을 추출하고 스케일 간 특징을 융합하는 다중 스케일 그래프 계산 단위(MGCU)를 제안합니다. 전체 모델은 동작 범주에 무관하며 인코더-디코더 프레임워크를 따릅니다. 인코더는 동작 특징을 학습하기 위해 MGCUs의 시퀀스로 구성됩니다. 디코더는 미래의 포즈를 생성하기 위해 제안된 그래프 기반 게이트 순환 유닛을 사용합니다. 광범위한 실험 결과, 제안된 DMGNN은 Human 3.6M 및 CMU Mocap 데이터 세트에서 짧은 기간 및 긴 기간 예측 모두에서 최신 기술보다 뛰어난 성과를 보였습니다. 우리는 또한 해석 가능성을 위해 학습된 다중 스케일 그래프를 조사합니다. 코드는 https://github.com/limaosen0/DMGNN에서 다운로드할 수 있습니다.