利用多平面图像推动视图外推的边界

我们探讨了从一对狭基线图像进行视图合成的问题，重点生成具有合理遮挡消失效果的高质量视图外推。我们的方法基于先前在预测多平面图像（MPI）方面的工作，该图像将场景内容表示为参考视锥内一组RGBA平面，并通过将这些内容投影到目标视角来渲染新视图。我们提供了理论分析，展示了从MPI渲染的视图范围如何随MPI视差采样频率线性增加，以及一种新的MPI预测程序，理论上使视图外推达到先前工作允许的最大横向视点移动的4倍。我们的方法改善了先前方法渲染视图范围的两个具体问题：1) 我们通过使用3D卷积网络架构以及随机分辨率训练程序扩展了可以渲染的新视图范围，避免了深度离散化伪影，从而使我们的模型能够预测具有更高视差采样频率的MPI。2) 我们通过强制要求任何深度上的隐藏内容外观必须来自该深度上方或后方的可见内容，减少了在遮挡消失中出现的重复纹理伪影。