드림퓨전: 2D 확산을 이용한 텍스트-3D 변환

최근 텍스트-이미지 합성에서의 돌파구는 수십억 개의 이미지-텍스트 쌍으로 훈련된 확산 모델에 의해 이끌어졌습니다. 이 접근 방식을 3D 합성에 적용하려면 레이블이 있는 대규모 3D 데이터셋과 3D 데이터의 노이즈 제거를 위한 효율적인 아키텍처가 필요하지만, 현재 두 가지 모두 존재하지 않습니다. 이 작업에서는 미리 훈련된 2D 텍스트-이미지 확산 모델을 사용하여 텍스트-3D 합성을 수행함으로써 이러한 제한 사항을 회피합니다. 우리는 파라메트릭 이미지 생성기의 최적화를 위한 사전으로서 2D 확산 모델을 사용할 수 있게 하는 확률 밀도 증류 기반의 손실을 소개합니다. 이 손실을 DeepDream과 유사한 절차에서 사용하여, 랜덤 초기화된 3D 모델(신경 방사 필드 또는 NeRF)을 경량 하강법을 통해 최적화하여, 랜덤 각도에서의 2D 렌더링이 낮은 손실을 달성하도록 합니다. 주어진 텍스트의 결과 3D 모델은 어떤 각도에서든지 볼 수 있으며, 임의의 조명에 의해 다시 조명되거나 어떤 3D 환경에 혼합할 수 있습니다. 우리의 접근 방식은 3D 훈련 데이터와 이미지 확산 모델 수정이 필요 없으며, 미리 훈련된 이미지 확산 모델을 사전으로서의 효과를 보여줍니다.