자동 회귀형 옴니-인식 아웃페인팅을 통한 개방형 어휘 360도 이미지 생성

360도(옴니-방향) 이미지는 장면에 대한 포괄적인 구형 보기 제공합니다. 최근 디지털 카메라와 스마트폰으로 촬영한 기존의 좁은 시야(NFoV) 이미지를 이용해 다양한 시나리오에서 몰입형 경험을 제공하기 위해 360도 이미지를 합성하는 것에 대한 관심이 증가하고 있습니다. 그러나 기존 방법은 일반적으로 복잡한 시각적 세부 사항을 합성하거나 생성된 이미지가 사용자 제공 프롬프트와 일관되게 정렬되도록 보장하는 데 부족합니다. 본 연구에서는 NFoV 및 텍스트 지침을 결합하거나 개별적으로 사용하여 불완전한 360도 이미지를 점진적으로 아웃페인팅하는 360도 이미지 생성을 위해 자동 회귀형 옴니-인식 생성 네트워크(AOG-Net)를 제안합니다. 이 자동 회귀 스킴은 동적으로 생성 및 조정하는 과정을 통해 더 세밀한 텍스트 일관성 패턴을 도출할 수 있도록 할뿐만 아니라 사용자가 생성 과정 전반에 걸쳐 조건을 편집할 수 있는 더 큰 유연성을 제공합니다. 글로벌-로컬 조건화 메커니즘이 마련되어 각 자동 회귀 단계에서 아웃페인팅 지침을 포괄적으로 수립하도록 합니다. 텍스트 지침, 옴니-비주얼 단서, NFoV 입력 및 옴니-지오메트리가 인코딩되고 교차 주의 기반 변환기를 통해 글로벌 스트림과 로컬 스트림으로 구성되어 조건부 생성 백본 모델로 전달됩니다. AOG-Net은 조건부 인코더 및 생성 사전의 대규모 모델을 활용할 수 있도록 호환되어 광범위한 개방형 어휘 텍스트 지침을 사용하여 생성을 가능하게 합니다. 실내 및 실외 환경에서 일반적으로 사용되는 두 개의 360도 이미지 데이터셋에 대한 종합적인 실험을 통해 제안된 방법의 최첨단 성능을 입증합니다. 우리의 코드는 https://github.com/zhuqiangLu/AOG-NET-360에서 사용할 수 있습니다.