가상 현실을 위한 파노라마 라이트 필드 정지 이미지 획득, 처리 및 렌더링 시스템

우리는 가상 현실(VR)에서 디스플레이하기 위한 파노라마 라이트 필드 정지 사진을 획득, 처리 및 렌더링하는 시스템을 제시합니다. 우리는 휴대 가능하고 효율적인 라이트 필드 획득을 위해 설계된 두 가지 새로운 라이트 필드 카메라 장비로 구형 라이트 필드 데이터 세트를 수집합니다. 우리는 뷰별 기하학과 디스크 기반 블렌딩 필드를 사용하는 새로운 실시간 라이트 필드 재구성 알고리즘을 소개합니다. 또한 아티팩트를 억제하면서 고품질 오프라인 재구성 모델에서 우리의 실시간 모델로 투사하기 위해 라이트 필드 프리필터 작업을 사용하는 방법을 보여줍니다. 우리는 VP9 비디오 코덱을 수정하여 실시간, 임의 접근 디코딩이 가능한 고품질 압축을 제공하는 실용적인 라이트 필드 압축 접근법을 소개합니다. 우리는 이러한 구성 요소를 결합하여 편리한 획득, 소형 파일 크기 및 고품질 렌더링을 제공하는 완전한 라이트 필드 시스템을 만들어 냈으며, 일반 VR 하드웨어에서 90Hz로 스테레오 뷰를 생성합니다. 우리의 시스템을 사용하여 소비자 VR을 위한 파노라마 라이트 필드 정지 이미지 라이브러리를 갖춘 무료 라이트 필드 체험 애플리케이션 'Welcome to Light Fields'를 개발하였으며, 이는 15,000회 이상 다운로드되었습니다.