SpatialTracker: 3D 공간 내 어떤 2D 픽셀도 추적하기

비디오에서 밀집하고 장거리의 픽셀 움직임을 회복하는 것은 도전적인 문제입니다. 어려움의 일부는 3D-2D 프로젝션 프로세스에서 발생하며, 이는 2D 움직임 영역에서의 가림 및 불연속성으로 이어집니다. 2D 움직임이 복잡할 수 있지만, 우리는 기본적인 3D 움직임이 종종 단순하고 낮은 차원일 수 있다고 제안합니다. 본 연구에서는 이미지 프로젝션으로 인한 문제를 완화하기 위해 3D 공간에서 점 궤적을 추정하는 방법을 제안합니다. SpatialTracker라는 이름의 우리 방법은 단안 깊이 추정기를 사용하여 2D 픽셀을 3D로 끌어올리고, 각 프레임의 3D 콘텐츠를 삼면체 표현을 사용하여 효율적으로 나타내며, 변환기를 사용하여 3D 궤적을 추정하기 위해 반복 업데이트를 수행합니다. 3D에서 추적함으로써 우리는 가능한 한 강체처럼 (ARAP) 제약을 활용하면서 동시에 픽셀을 서로 다른 강체 부분으로 클러스터링하는 강체 임베딩을 학습할 수 있습니다. 광범위한 평가 결과, 우리의 접근 방식은 출체 회전과 같은 도전적인 시나리오에서 특히 정성적 및 정량적으로 최첨단 추적 성능을 달성했습니다.