Sketch2Human: 분리된 기하학 및 외관 제어를 통한 심층 인간 생성

기하학과 외관이 제어된 전신 인간 이미지 생성은 흥미롭지만 도전적인 작업입니다. 기존 솔루션은 무조건적이거나 조잡한 조건(예: 포즈, 텍스트)에 의존하여 신체와 의복의 명시적 기하학 및 외관 제어가 부족합니다. 스케치 작업은 이러한 편집 능력을 제공하며 다양한 스케치 기반 얼굴 생성 및 편집 솔루션에 채택되었습니다. 그러나 스케치 기반 얼굴 생성을 전신 생성으로 직접 적용하면 포즈, 몸체 모양, 의복 모양 및 질감의 높은 복잡성과 다양성으로 인해 종종 높은 충실도와 다양한 결과를 생성하지 못합니다. 최근의 기하학적으로 제어 가능한 확산 기반 방법은 주로 외관 생성을 위해 프롬프트에 의존하며 입력이 조잡할 경우 결과의 사실성과 스케치에 대한 충실도 사이의 균형을 맞추기 어렵습니다. 이 작업은 의미적 스케치(기하학 제어를 위해)와 참조 이미지(외관 제어를 위해)에 의해 안내되는 제어 가능한 전신 인간 이미지 생성을 위한 첫 번째 시스템인 Sketch2Human을 제시합니다. 우리의 솔루션은 입력으로 변환된 기하학 및 외관 잠재 코드가 포함된 StyleGAN-Human의 잠재 공간에 기반합니다. 구체적으로 우리는 StyleGAN-Human의 잠재 공간에서 샘플링된 대규모 합성 데이터 세트로 학습된 스케치 인코더를 제시하며, 실제 이미지가 아닌 스케치에 의해 직접적으로 감독됩니다. StyleGAN-Human의 부분 기하학 및 질감의 얽힌 정보를 고려하고 분리된 데이터 세트가 없음을 감안하여, 우리는 기하학적으로 보존되고 외관이 전송된 훈련 데이터를 생성하여 생성기가 분리된 기하학 및 외관 제어를 달성하도록 조정할 수 있는 새로운 훈련 방안을 설계했습니다. 우리의 방법은 합성 데이터로 훈련되었지만 손으로 그린 스케치를 처리할 수 있습니다. 질적 및 양적 평가를 통해 우리 방법의 뛰어난 성능이 최신 기법들보다 우수함을 입증합니다.