3D 헤드 아바타 생성에서 최근 진전에도 불구하고, 정체성 유지 즉, 재구성과 새로운 포즈 및 표정 즉, 애니메이션 간의 균형을 맞추는 것은 여전히 도전 과제입니다. 기존 방법들은 얼굴 영역의 다양한 기하학적 변화를 반영하여 가우시안을 조정하는 데 어려움을 겪어 최적의 품질을 달성하지 못합니다. 이를 해결하기 위해, 우리는 적응형 기하학적 가우시안 스플래팅을 위한 프레임워크인 GeoAvatar를 제안합니다. GeoAvatar는 가우시안을 강체 세트와 유연한 세트로 분할하여 적응형 오프셋 규제를 위한 비지도 학습 방법인 적응형 사전 할당 단계(APS)를 활용합니다. 그런 다음, 입술의 해부학적 구조와 역학에 기반하여 애니메이션의 진실성을 향상시키기 위한 새로운 입술 구조와 부분 불변 변형 전략을 도입합니다. 마지막으로, 가우시안과 3DMM 얼굴 간의 정밀 리깅을 위해 규제 손실을 제안합니다. 또한, 우리는 높은 표현력을 가진 얼굴 동작을 포함하는 비디오 데이터 세트인 DynamicFace를 발표합니다. 다양한 실험을 통해 GeoAvatar가 재구성과 새로운 애니메이션 시나리오에서 최첨단 방법들에 비해 우수하다는 것을 보여줍니다.
Moon 외 (목요일), 이 질문을 연구했습니다.