TS-NeRF: 적은 샷 신경 복사장에 대한 시간적 및 구조적 규제

NeRF(신경 복사장)에 대해, 희소 입력으로부터 새로운 뷰를 합성하는 것은 너무 적은 입력으로 인해 렌더링된 뷰에서 아티팩트가 발생할 수 있어 도전 과제가 됩니다. 최근 방법들은 외부 감독을 도입하거나 깊이와 같은 사전 지식을 기반으로 하는 규제를 활용하여 복원 품질을 향상시키는 문제를 해결했습니다. 적은 샷 NeRF는 복원 품질을 보장하기 위해 추가적인 제약 정보를 필요로 합니다. 이를 해결하기 위해 우리는 두 가지 새로운 규제 방법을 도입했습니다. 첫째, 점 간의 관계를 포착하기 위해 여러 랜덤 포인트를 배치로 재구성하는 뷰 구조와 관련된 손실을 도입했습니다. 이 구조적 규제 방법을 SSLIP이라고 명명했습니다. 또한, 복원 과정 중 고주파 신호가 신경망이 저주파 정보를 효과적으로 학습하는 것을 방해한다는 연구 결과가 있습니다. 이 연구를 바탕으로 우리는 위치 코드의 인코딩을 개선하여 훈련 반복 횟수에 따라 주파수가 증가하도록 했으며, 이를 시간적 규제라고 합니다. 이 개선은 NeRF가 초기 훈련 단계에서 저주파 정보를 효과적으로 학습하도록 보장합니다. 현재의 최신 ViP-NeRF 모델을 기반으로 한 우리의 방법은 LLFF 데이터세트에서 우수한 결과를 달성했습니다.