PhysDreamer: 비디오 생성을 통한 3D 객체와의 물리 기반 상호작용

현실감 있는 객체 상호작용은 몰입감 있는 가상 경험을 창조하는 데 매우 중요하지만, 새로운 상호작용에 대한 현실적인 3D 객체 역학을 합성하는 것은 여전히 중요한 도전 과제입니다. 무조건적이거나 텍스트 기반의 역학 생성과 달리, 행동 조건화된 역학은 객체의 물리적 재료 속성을 인식하고 이러한 속성(예: 객체 강성)을 바탕으로 3D 운동 예측을 기반으로 해야 합니다. 그러나 물리적 재료 속성을 추정하는 것은 재료의 실제 데이터 부족으로 인해 해결되지 않은 문제입니다. 실제 객체에 대한 이러한 속성을 측정하는 것은 매우 어렵습니다. 우리는 비디오 생성 모델이 학습한 객체 역학의 사전 정보를 활용하여 정적인 3D 객체에 상호작용 역학을 부여하는 물리 기반 접근법인 PhysDreamer를 소개합니다. 이러한 사전 정보를 정제함으로써 PhysDreamer는 외부 힘이나 에이전트 조작과 같은 새로운 상호작용에 대한 현실적인 객체 반응의 합성을 가능하게 합니다. 우리는 탄성 객체의 다양한 예에서 우리의 접근법을 시연하고 사용자 연구를 통해 합성된 상호작용의 현실성을 평가합니다. PhysDreamer는 정적인 3D 객체가 물리적으로 그럴듯한 방식으로 상호작용 자극에 동적으로 반응할 수 있게 함으로써 더 매력적이고 현실적인 가상 경험으로 나아가는 한 걸음을 내딛습니다. 우리의 프로젝트 페이지를 보려면 https://physdreamer.github.io/을 방문하십시오.