NeuS: 다중 뷰 재구성을 위한 볼륨 렌더링 기반 신경 암시적 표면 학습

우리는 NeuS라고 불리는 새로운 신경 표면 재구성 방법을 제시하며, 2D 이미지 입력으로부터 고충실도의 객체 및 장면을 재구성한다. DVR, IDR과 같은 기존 신경 표면 재구성 접근법은 전경 마스크를 감독으로 필요로 하며, 쉽게 국소 최적점에 빠져 심한 자기 차폐나 얇은 구조를 가진 객체 재구성에 어려움을 겪는다. 반면, NeRF 및 그 변형들과 같은 최근의 신경 신기합성 방법들은 볼륨 렌더링을 사용해 매우 복잡한 객체에 대해서도 최적화의 강인성을 가진 신경 장면 표현을 생성한다. 그러나 이러한 학습된 암시적 표현에서 고품질 표면을 추출하는 것은 표현에 충분한 표면 제약이 없기 때문에 어렵다. NeuS에서는 표면을 부호화 거리 함수(SDF)의 제로 레벨 집합으로 표현하고, 신경 SDF 표현을 학습하기 위한 새로운 볼륨 렌더링 방법을 개발한다. 기존의 볼륨 렌더링 방법이 표면 재구성에서 고유의 기하학적 오류(즉, 편향)를 일으킨다는 점을 관찰하고, 이에 따라 1차 근사에서 편향이 없는 새로운 수식을 제안하여 마스크 감독 없이도 더 정확한 표면 재구성이 가능하게 한다. DTU 데이터셋 및 BlendedMVS 데이터셋에 대한 실험에서 NeuS는 특히 복잡한 구조와 자기 차폐를 가진 객체 및 장면에서 고품질 표면 재구성 분야의 최첨단 기법들보다 우수한 성능을 보였다.