UV 가우시안: 인간 아바타 모델링을 위한 메시 변형과 가우시안 텍스처의 공동 학습

다중 시점 이미지 시퀀스에서 포토리얼리스틱하게 주행 가능한 인간 아바타를 재구성하는 것은 컴퓨터 비전 및 그래픽스 분야에서 인기 있고 도전적인 주제였습니다. 기존의 NeRF 기반 방법들은 인간 모델의 고품질 새 시점 렌더링을 달성할 수 있지만, 훈련 및 추론 과정이 시간 소모적입니다. 최근의 접근법들은 인간 몸을 표현하기 위해 3D 가우시안을 활용하여 더 빠른 훈련과 렌더링을 가능하게 했습니다. 그러나 이러한 방법들은 메시 가이던스의 중요성을 저해하고 거친 메시 가이던스와 함께 3D 공간에서 가우시안을 직접 예측합니다. 이는 가우시안의 학습 절차를 방해하고 흐릿한 텍스처를 생성하는 경향이 있습니다. 따라서 우리는 메시 변형과 2D UV 공간 가우시안 텍스처를 공동으로 학습하여 3D 인간 몸을 모델링하는 UV 가우시안을 제안합니다. 우리는 UV 맵의 임베딩을 활용하여 2D 공간에서 가우시안 텍스처를 학습하며, 강력한 2D 네트워크의 기능을 활용하여 특징을 추출합니다. 또한 독립적인 메시 네트워크를 통해 포즈 의존적인 기하학적 변형을 최적화하여 가우시안 렌더링을 안내하고 렌더링 품질을 크게 향상시킵니다. 우리는 다중 시점 이미지, 스캔 모델, 파라메트릭 모델 등록 및 해당 텍스처 맵을 포함하는 인간 동작의 새로운 데이터셋을 수집하고 처리합니다. 실험 결과는 우리의 방법이 새 시점 및 새 포즈의 최첨단 합성을 달성함을 보여줍니다. 논문이 수락되면 코드와 데이터는 홈페이지 https://alex-jyj.github.io/UV-Gaussians/에서 제공될 것입니다.