Scene Graph Diffusion Transformer for Controllable 3D Virtual Scene Generation

본 연구는 장면 그래프를 기반으로 조작가능한 가상 장면을 생성하는 Scene Graph Diffusion Transformer (SG-DiT)를 제안한다. 기존의 그래프 기반 3D 장면 생성 연구들은 주로 Latent Diffusion 기반 네트워크에 의존하여, 생성된 객체 간 폐색 (occlusion)이 발생하고, 텍스트와 이미지 등 다양한 입력 모달리티를 유연하게 처리하지 못하는 한계점이 존재하였다. 본 모델은 Perceiver IO로 텍스트·이미지를 융합한 멀티모달 그래프를 인코딩하고, 트랜스포머 기반 확산 구조와 Rectified Flow 스케줄링을 적용해 구조적 장면 일관성과 사용자 조작 가능성을 동시에 달성한다. SG-FRONT 데이터셋 기반 평가 결과, 제안 모델은 기존 SOTA 모델 대비 KID Score에서 30% 향상된 성능을 기록하며, 구조 일관성과 시각적 품질 모두에서 우수한 3D 장면 생성 능력을 입증하였다. 이러한 결과는 본 모델이 AR/VR 환경 내 사용자 맞춤형 공간 설계 및 몰입형 콘텐츠 제작에 효과적으로 활용될 수 있음을 시사한다.