정확한 로컬 얼굴 속성 편집을 위한 참조 기반 3D 의미 인식 프레임워크

얼굴 속성 편집은 특정 특성을 가진 사실적인 얼굴을 합성하는 데 중요한 역할을 하며, 사실적인 외관을 유지합니다. 발전에도 불구하고, 다양한 각도에서 얼굴의 일관되고 정확한 표현을 위한 정밀 3D 인식 속성 수정은 여전히 도전 과제로 남아 있습니다. 현재 방법들은 의미적 얽힘에 어려움을 겪고 있으며, 이미지 무결성을 유지하면서 속성을 통합하기 위한 효과적인 방향성이 부족합니다. 이러한 문제를 해결하기 위해 우리는 잠재 기반 및 참조 기반 편집 방법의 장점을 결합한 새로운 프레임워크를 소개합니다. 우리의 접근 방식은 참조 이미지로부터 속성을 3D 일관성과 여러 관점에서 사실적인 보기 보장을 위해 삼면 공간에 삽입하는 3D GAN 역전 기법을 사용합니다. 우리는 혼합 기법과 예측된 의미 마스크를 활용하여 정확한 편집 영역을 찾고, 이를 참조 이미지의 맥락적 안내와 결합합니다. 목표 영역 외부의 무결성을 유지하기 위해 조잡한-부터-세밀한 인페인팅 전략을 적용하여 사실성을 크게 향상시킵니다. 우리의 평가 결과는 다양한 편집 작업에서 우수한 성능을 입증하며, 사실적이고 적용 가능한 얼굴 속성 편집에 대한 우리의 프레임워크의 효과를 검증합니다.