LucidDreamer: 도메인에 구애받지 않는 3D 가우시안 스플래팅 장면 생성

고품질 3D 장면 생성은 3D 그래픽의 발전과 몰입형 환경에 대한 수요 증가로 인해 컴퓨터 비전 분야에서 중요한 도전 과제입니다. 객체 중심의 3D 생성이 상당한 진전을 이루었지만, 대규모 3D 장면 데이터셋의 부족과 기존 3D 표현 방식의 확장성 제약으로 인해 장면 생성은 여전히 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 통합된 3D 가우시안 스플래팅 표현을 사용하여 다양하고 고품질, 확장 가능한 3D 장면을 합성하는 새로운 파이프라인인 LucidDreamer를 제안합니다. 우리의 접근 방식은 2D 이미지 생성과 깊이 추정을 활용하여 포토리얼리스틱하고 확장 가능한 3D 환경을 구축하는 반복적인 탐색-꿈-정렬 과정을 채택하고 있습니다. 이미지를 반복적으로 생성하고 장면을 탐색함으로써 LucidDreamer는 이미지 생성 모델의 힘을 최대한 활용하여 매우 세부적이고 확장 가능한 3D 장면을 생성할 수 있습니다. LucidDreamer는 텍스트, RGB 및 RGBD를 포함한 다양한 입력 모드를 지원하며, 생성 과정에서 동적 수정이 가능합니다. 실험 결과는 LucidDreamer가 고품질, 다양성, 구조적 일관성 및 탐색이 가능한 3D 장면 생성에서 기존 방법보다 우수하다는 것을 보여줍니다. 프로젝트 페이지는 다음에서 확인할 수 있습니다: https://luciddreamer-cvlab.github.io/.