의미 마스크를 사용한 얼굴 구성 요소 복원을 위한 AI 기반 이미지 인페인팅 기법 평가

이 논문은 대상 얼굴 구성 요소를 완전히 가리는 의미 마스크를 사용한 인간 얼굴 인페인팅을 위한 고급 AI 기반 기법의 비교 분석을 제시합니다. 주요 목적은 이미지 인페인팅 방법이 의미적으로 중요한 얼굴 특징을 정확하게 복원할 수 있는 능력을 평가하는 것입니다. 우리의 결과는 기존의 인페인팅 모델이 의미 마스크가 기본 얼굴 구조를 완전히 숨길 때 심각한 도전에 직면한다는 것을 보여줍니다. 부분적인 시각적 단서를 남기는 무작위 마스크와 달리, 의미 마스크는 모든 구조적 정보를 제거하여 재구성을 매우 어렵게 만듭니다. 우리는 완전히 가려진 얼굴 구성 요소를 복원하는 생성적 적대 신경망(GANs), 변환기 기반 모델 및 확산 모델의 성능을 평가합니다. 이러한 문제를 해결하기 위해, 우리는 의미 마스크를 사용하는 방법, 무작위 마스크를 사용하는 방법 및 두 가지를 결합한 하이브리드 접근법 등 세 가지 재훈련 전략을 탐구합니다. 하이브리드 전략은 각 마스크 유형의 보완적인 강점을 활용하고 맥락적 이해를 개선하지만, 완전히 정확한 재구성은 여전히 도전적으로 남아 있습니다. 이러한 발견은 완전히 가려진 의미 마스크 하에서의 인페인팅이 중요한 동시에 탐색이 부족한 영역임을 보여주며, 고급 얼굴 재구성을 위한 새로운 AI 아키텍처 및 전략 개발의 기회를 제공합니다.