해부학 기반의 뼈를 이용한 3D 인간 자세 추정

본 연구에서는 비디오에서 3D 인간 자세 추정에 대한 새로운 해결책을 제안합니다. 3D 관절 위치를 직접 회귀하는 대신, 인간 해골 해부학에서 영감을 얻어 작업을 뼈 방향 예측과 뼈 길이 예측으로 분해하였으며, 이를 통해 3D 관절 위치를 완전히 도출할 수 있습니다. 인간 해골의 뼈 길이는 시간에 따라 일관성을 유지한다는 사실이 우리의 동기가 되었습니다. 이는 비디오의 모든 프레임에서 전역 정보를 활용하여 높은 정확도의 뼈 길이 예측을 위한 효과적인 기술을 개발하도록 촉진합니다. 더욱이, 뼈 방향 예측 네트워크를 위해 장기 스킵 연결이 있는 완전 합성곱 전파 아키텍처를 제안합니다. 본질적으로, 이는 시간 소모적인 메모리 유닛(예: LSTM)을 사용하지 않고 서로 다른 뼈의 방향을 계층적으로 예측합니다. 뼈 길이와 뼈 방향 예측 네트워크의 훈련을 연결하기 위해 새로운 관절 이동 손실이 도입됩니다. 마지막으로, 2D 키포인트 가시성 점수를 모델에 추가적인 가이드로 제공하기 위해 암묵적 주의 메커니즘을 사용하여, 많은 도전적인 자세에서 깊이 모호성을 크게 완화합니다. 우리의 전체 모델은 Human3.6M 및 MPI-INF-3DHP 데이터 세트에서 이전 최고의 결과를 초월하며, 포괄적 평가를 통해 모델의 효과를 검증합니다.