합성 데이터를 이용한 생성 모델을 통한 야외 3D 인간 재구성

본 연구에서는 생성 모델에 의해 생성된 합성 데이터가 3D 인간 자세 및 형태 추정(HPS)에서 다양한 실제 장면에 대한 주목할 만한 일반화 성능을 달성하기 위해 컴퓨터 그래픽(CG) 렌더링 데이터와 상호 보완적임을 보여줍니다. 특히, 우리는 인간 이미지를 수월하게 생성하고 해당 3D 메쉬 주석을 생성할 수 있는 최근의 확산 모델을 기반으로 한 효과적인 접근법인 HumanWild를 제안합니다. 먼저, 텍스트 캡션 및 표면 법선 이미지와 같은 포괄적인 주석이 포함된 대규모 인간 중심 데이터 세트를 수집합니다. 그런 다음, 이 데이터 세트를 기반으로 다양한 인간 이미지를 생성하고 초기 정답 레이블을 얻기 위해 맞춤형 ControlNet 모델을 학습시킵니다. 이 단계의 핵심은 3D 인간 매개변수 모델인 SMPL-X와 같은 모델에서 3D 메쉬를 이미지 평면에 렌더링함으로써 수많은 표면 법선 이미지를 쉽게 얻을 수 있다는 점입니다. 초기 레이블에 불가피한 노이즈가 존재하므로, 우리는 부정적인 데이터 샘플을 필터링하기 위해 기존의 분할 모델인 SAM을 적용합니다. 우리의 데이터 생성 파이프라인은 다양한 실제 작업을 촉진하기 위해 유연하고 사용자 정의 가능합니다. 생성된 데이터 세트는 0.79M 이미지와 해당하는 3D 주석으로 구성되어 있으며, 다양한 시점, 장면 및 인간 정체성을 커버합니다. 우리는 생성된 데이터 위에 다양한 HPS 회귀 모델을 학습시키고, 생성된 데이터의 효율성을 검증하기 위해 폭넓은 벤치마크(3DPW, RICH, EgoBody, AGORA, SSP-3D)에서 평가합니다. 생성 모델만을 사용하여 대규모 야외 인간 이미지와 고품질 주석을 생성하여 실제 데이터 수집의 필요성을 없앱니다.