HyperNeRF: 위상적으로 변화하는 신경 복사장에 대한 고차원 표현

신경 복사장(NeRF)은 전례 없는 충실도로 장면을 재구성할 수 있으며, 최근에 다양한 연구들이 NeRF를 확장하여 동적 장면을 처리하고 있습니다. 비강체 장면을 재구성하기 위한 일반적인 접근법은 각 입력 이미지의 좌표를 캐논 적 템플릿 좌표 공간으로 매핑하는 학습된 변형 필드를 사용하는 것입니다. 그러나 이러한 변형 기반 접근법은 위상 변화 모델링에 어려움을 겪습니다. 위상 변화는 변형 필드에서 불연속성을 요구하지만 이러한 변형 필드는 반드시 연속적입니다. 우리는 NeRF를 더 높은 차원 공간으로 끌어올리고, 개별 입력 이미지에 해당하는 5D 복사장을 이 "초차원"을 통한 슬라이스로 표현함으로써 이 한계를 해결합니다. 우리 방법은 표면의 진화를 더 높은 차원의 표면을 통한 슬라이스로 모델링하는 레벨 세트 방법에서 영감을 받았습니다. 우리는 두 가지 작업에서 우리 방법을 평가합니다: (i) 입력 이미지에서 본 장면의 구성요소인 "모멘트" 사이를 시각적 신뢰성을 유지하며 부드럽게 보간하고, (ii) 고정된 모멘트에서 새로운 시점 합성. 우리는 우리 방법, 즉 HyperNeRF가 두 가지 작업 모두에서 기존 방법보다 우수하다는 것을 보여줍니다. Nerfies와 비교하여 HyperNeRF는 LPIPS로 측정하여 보간의 평균 오류율을 4.1%, 새로운 시점 합성의 평균 오류율을 8.6% 감소시킵니다. 추가 비디오, 결과 및 시각화는 https://hypernerf.github.io에서 확인할 수 있습니다.