Key points are not available for this paper at this time.
우리는 단안 비디오에서 일반 의상을 입은 인간의 시간적으로 일관된 3D 퍼포먼스 캡처를 위한 첫 번째 마커 없는 접근 방식을 제시합니다. 우리의 접근 방식은 관절이 있는 인간 스켈레톤 운동과 일반 장면에서의 중간 규모 비강체 표면 변형을 재구성합니다. 인간 퍼포먼스 캡처는 큰 범위의 관절화, 잠재적으로 빠른 움직임 및 다소 비강체 변형 때문에 도전적인 문제입니다. 복수 시점 데이터에서도 마찬가지입니다. 단안 비디오만으로의 재구성은 강한 폐색 및 본질적인 깊이 모호함으로 인해 매우 ill-posed한 재구성 문제를 초래합니다. 우리는 배치 기반 포즈 추정 전략을 사용하는 컨볼루션 신경망에서 희소 2D 및 3D 인간 포즈 검출을 활용하는 새로운 접근 방식으로 이러한 문제를 해결합니다. 배치별 운동의 공동 복구는 저차원 궤적 부분공간을 기반으로 단안 재구성 문제의 모호함을 해결할 수 있게 합니다. 또한, 우리는 완전히 자동으로 추출된 실루엣을 기반으로 표면 기하학의 정제를 제안하여 중간 규모 비강체 정렬을 가능하게 합니다. 우리는 비디오 편집 및 자유 뷰포인트 비디오와 같은 흥미로운 응용 프로그램을 가능하게 하는 최첨단 퍼포먼스 캡처 결과를 시연합니다. 우리의 정성적 및 정량적 평가는 정확성, 강건성, 처리할 수 있는 장면 복잡성 측면에서 이전 단안 방법보다 우리의 접근 방식이 상당히 우수함을 보여줍니다.
Xu et al. (Mon,)은 이 질문을 연구했습니다.