S3O: 단일 단안 비디오로부터 관절이 있는 물체의 동적 형태와 스켈레톤 재구성을 위한 이중 단계 접근법

단일 단안 비디오로부터 동적 관절이 있는 물체를 재구성하는 것은 어려운 작업으로, 제한된 뷰에서 형태, 움직임 및 카메라 매개변수의 공동 추정을 필요로 합니다. 현재 방법들은 일반적으로 광범위한 계산 자원과 훈련 시간을 요구하며, 사전 정의된 매개변수 모델, 카메라 포즈 및 키 포인트와 같은 추가적인 인간 주석이 필요하여 일반화 가능성을 제한합니다. 우리는 이러한 전제 조건을 생략하고 가시적인 형태와 기본 스켈레트를 포함한 매개변수 모델을 효율적으로 학습하는 새로운 두 단계 방법인 Synergistic Shape and Skeleton Optimization (S3O)을 제안합니다. 기존 전략들은 일반적으로 모든 매개변수를 동시에 학습하여, 단일 잘못된 예측이 상당한 오류를 초래하는 상호 의존성을 초래합니다. 반면, S3O는 단계적 접근법을 채택하여 처음에는 거친 매개변수 모델 학습에 초점을 맞춘 후, 움직임 학습과 세부사항 추가로 진행합니다. 이 방법은 계산 복잡성을 상당히 줄이고 제한된 시점에서의 재구성의 강건성을 향상시킵니다. 추가 주석 없이도 가능합니다. 단안 비디오 벤치마크에서 3D 재구성의 현재 부족한 점을 해결하기 위해, 우리는 PlanetZoo 데이터셋을 수집했습니다. 표준 벤치마크 및 PlanetZoo 데이터셋에 대한 우리의 실험 평가는 S3O가 더 정확한 3D 재구성과 그럴듯한 스켈레트를 제공하고, 최신 기술에 비해 훈련 시간을 약 60% 단축한다는 것을 확인하여 동적 물체 재구성의 상태를 발전시킵니다.