GenHOI: 미지의 객체에 대한 텍스트 기반 4D 인간-객체 상호작용 합성을 일반화하기

확산 모델과 대규모 동작 데이터셋이 텍스트 기반 인간 동작 합성을 발전시켜 왔지만, 이러한 발전을 4D 인간-객체 상호작용(HOI)으로 확장하는 것은 대규모 4D HOI 데이터셋의 제한된 가용성으로 인해 여전히 도전 과제가 되고 있습니다. 본 연구에서는 두 가지 주요 목표를 달성하기 위한 새로운 두 단계 프레임워크인 GenHOI를 소개합니다: 1) 미지의 객체에 대한 일반화 및 2) 고충실도 4D HOI 시퀀스의 합성. 프레임워크의 초기 단계에서 우리는 미지의 객체에 대한 희소 3D HOI 키프레임을 재구성하기 위해 Object-AnchorNet을 사용하여 3D HOI 데이터셋에서만 학습함으로써 대규모 4D HOI 데이터셋에 대한 의존성을 줄입니다. 이후 두 번째 단계에서 Contact-Aware Diffusion Model (ContactDM)을 도입하여 희소 3D HOI 키프레임을 밀집하게 시간 일관성 있는 4D HOI 시퀀스로 원활하게 보간합니다. 생성된 4D HOI 시퀀스의 질을 향상시키기 위해, ContactDM 내에서 인간-객체 접촉 패턴을 추출하는 새로운 Contact-Aware Encoder와 접촉 신호를 효율적으로 확산 모델에 통합하는 새로운 Contact-Aware HOI Attention을 제안합니다. 실험 결과, 우리는 공개적으로 이용 가능한 OMOMO와 3D-FUTURE 데이터셋에서 최첨단 결과를 달성하여 미지의 객체에 대한 강력한 일반화 능력을 보여주고, 고충실도 4D HOI 생성을 가능하게 합니다.