모션 캡처 및 3D 스캔을 활용한 고충실도 얼굴 성능 획득

이 논문은 사실적인 동적 주름과 미세한 얼굴 세부 사항을 가진 고충실도 3D 얼굴 성능을 획득하기 위한 새로운 접근 방식을 소개합니다. 우리의 접근 방식은 얼굴 성능 획득을 위해 최첨단 모션 캡처 기술과 고급 3D 스캔 기술을 활용합니다. 우리는 마커 기반 모션 캡처 시스템을 사용하여 배우의 3D 얼굴 성능을 기록하고, 캡처한 데이터에 대한 얼굴 분석을 수행하여 정확한 얼굴 재구성을 위해 필요한 최소한의 얼굴 스캔 세트를 결정합니다. 우리는 모든 얼굴 스캔 간의 밀집되고 일관된 표면 대응을 효율적으로 구축하기 위해 두 단계의 등록 프로세스를 도입합니다. 우리는 블렌드셰입 보간 프레임워크에서 모션 캡처 데이터와 최소한의 얼굴 스캔 세트를 결합하여 고충실도 3D 얼굴 성능을 재구성합니다. 우리는 실제 데이터와 합성 데이터 모두에서 시스템의 성능을 평가했습니다. 우리의 결과는 시스템이 정적 얼굴 스캔의 공간 해상도와 모션 캡처 시스템의 획득 속도를 모두 일치시키는 얼굴 성능을 캡처할 수 있음을 보여줍니다.