분리된 인물 이미지 생성

사람의 새로운, 그러나 현실적인 이미지를 생성하는 것은 전경, 배경 및 자세 정보와 같은 다양한 이미지 요소들 간의 복잡한 상호작용 때문에 도전적인 작업입니다. 본 연구에서는 위에서 언급한 이미지 요소들의 분리된 표현을 학습하고, 동시에 새로운 인물 이미지를 생성하는 새로운 두 단계 재구성 파이프라인을 기반으로 이러한 이미지를 생성하는 것을 목표로 합니다. 먼저, 다중 분기 재구성 네트워크를 제안하여 세 가지 요소를 분리하고 인코딩하여 임베딩 특징으로 변환한 다음, 이를 결합하여 입력 이미지를 재구성합니다. 둘째, 각 요소에 대해 학습된 임베딩 특징 공간으로 가우시안 노이즈를 매핑하기 위해 서로 대응하는 세 가지 매핑 함수를 적대적인 방식으로 학습합니다. 제안된 프레임워크를 사용하여 우리는 입력 이미지의 전경, 배경 및 자세를 조작할 수 있으며, 또한 새로운 임베딩 특징을 샘플링하여 보다 정밀한 조작을 생성하여 생성 과정에 대한 제어를 제공합니다. Market-1501 및 Deepfashion 데이터셋에 대한 실험 결과, 우리의 모델은 새로운 전경, 배경 및 자세를 가진 현실적인 인물 이미지를 생성할 뿐만 아니라 생성된 요소를 조작하고 중간 상태를 보간할 수 있음을 보여줍니다. Market-1501에 대한 또 다른 실험 세트에서는 우리의 모델이 인물 재식별 작업에도 유용할 수 있음을 보여줍니다 1 .