공간 적응 인스턴스 정규화를 통한 신경 자세 전이

자세 전이는 수십 년 동안 연구되어 왔으며, 여기서 소스 메시의 자세가 타겟 메시에 적용됩니다. 특히 이 논문에서는 소스 인간 메쉬의 자세를 타겟 인간 메쉬를 변형하는 데 전이하는 데 관심이 있으며, 소스와 타겟 메쉬는 서로 다른 정체성 정보를 가질 수 있습니다. 전통적인 연구에서는 사용자가 주석한 랜드마크/메쉬 포인트의 점 대 점 대응이 존재하는 쌍으로 소스와 타겟 메쉬가 존재한다고 가정하며, 이는 많은 라벨링 노력이 필요합니다. 반면, 소스와 타겟 메쉬가 서로 다른 정체성을 가질 때 딥 모델의 일반화 능력은 제한적입니다. 이러한 한계를 극복하기 위해, 우리는 최신 이미지 스타일 전이 기법을 활용하여 자세 전이를 해결하는 첫 번째 신경 자세 전이 모델을 제안합니다. 이 모델은 소스와 타겟 메쉬 간의 어떠한 대응도 필요하지 않습니다. 광범위한 실험을 통해 제안된 모델이 소스에서 타겟 메쉬로 변형을 효과적으로 전이할 수 있으며, 보지 못한 정체성이나 메쉬의 자세를 처리하는 데 좋은 일반화 능력을 가진다는 것을 보여줍니다. 코드는 https://github.com/jiashunwang/Neural-Pose-Transfer에서 사용할 수 있습니다.