複数面画像を用いた視点外挿の限界を押し広げる

狭い基準線対画像からの視点合成の問題を探求し、もっともらしい視点欠損を伴う高品質な視点外挿の生成に焦点を当てます。当手法は、参照ビューフラスタム内の一連のRGBA平面としてシーンコンテンツを表現し、このコンテンツをターゲット視点に投影することで新たな視点をレンダリングする複数面画像（MPI）の予測に関する先行研究を基に構築されています。当研究では、MPIの視差サンプリング周波数の増加に伴い、MPIからレンダリング可能な視点の範囲が線形に増加することを示す理論的分析を提示し、従来の作業によって許可される横方向視点移動の最大4倍までの視点外挿を理論的に可能にする新たなMPI予測手続きを提案します。当手法は、従来の手法でレンダリング可能な視点の範囲を制限する2つの特定の問題を改善します。1) 深度の離散化アーチファクトなしでレンダリングできる新しい視点の範囲を、3D畳み込みネットワークアーキテクチャとランダム化解像度トレーニング手法を使用して拡張し、当モデルが視差サンプリング周波数を増加させたMPIを予測できるようにします。2) 見えない内容の外観がその深度で見える内容から描画されなければならないという制約を強制することで、見かけ欠損で見られる繰り返しのテクスチャアーチファクトを減少させます。