중복이 낮은 더욱 나은 새로운 시점 합성을 위한 특징 스플래팅

3D 가우시안 스플래팅은 매우 유망한 장면 표현으로 떠오르며, 경쟁 대안보다 훨씬 빠르게 새로운 시점 합성에서 최첨단 품질을 달성하고 있습니다. 그러나 장면 색상을 표현하기 위해 구형 고유함수를 사용함에 따라 3D 가우시안의 표현력이 제한되고, 결과적으로 학습 시점에서 멀어질수록 표현이 일반화될 수 있는 능력이 감소합니다. 본 논문에서는 3D 가우시안의 색상 정보를 각 가우시안 특징 벡터에 인코딩하는 것을 제안하며, 이를 특징 스플래팅(FeatSplat)이라고 명명합니다. 새로운 시점을 합성하기 위해 가우시안은 먼저 이미지 평면에 "스플래팅"되고, 이후 해당 특징 벡터가 알파 블렌딩되어, 최종적으로 블렌딩된 벡터가 소형 MLP에 의해 RGB 픽셀 값으로 렌더링됩니다. 모델에 추가 정보를 제공하기 위해, 우리는 블렌딩된 특징 벡터에 카메라 임베딩을 연결하여 디코딩이 시점 정보에 조건화되도록 합니다. 우리의 실험은 방금 제안한 방사능 인코딩 모델이 학습 시점에서 먼 중복이 낮은 시점의 새로운 시점 합성을 상당히 개선함을 보여줍니다. 마지막으로, 우리는 우리의 특징 벡터 표현의 용량과 편리함을 보여주며, 새로운 시점에 대한 RGB 값을 생성하는 것뿐만 아니라 픽셀별 의미 레이블을 생성하는 능력을 입증합니다. 우리는 수용될 경우 코드를 공개할 것입니다. 키워드: 가우시안 스플래팅, 새로운 시점 합성, 특징 스플래팅