基于学习的混合成像系统进行光场视频捕获

光场相机相较于传统相机具有许多优点，因为它允许用户在捕获后调整各种相机设置。然而，捕获光场需要巨大的带宽来记录数据：现代光场相机每秒仅能拍摄三张图像。这使得当前消费级光场相机无法捕获光场视频。以如此极端的比例（10倍，从3 fps到30 fps）进行时间插值是不可行的，因为相邻帧之间将完全缺失过多信息。相反，我们开发了一种混合成像系统，添加另一台标准视频相机以捕捉时间信息。给定一个3 fps的光场序列和一个标准的30 fps 2D视频，我们的系统可以生成一个30 fps的完整光场视频。我们采用一种基于学习的方法，可以分解为两个步骤：时空流估计和外观估计。流估计将光场序列中的角度信息传播到2D视频中，从而使我们能够将输入图像变形到目标视图。然后，外观估计结合这些变形的图像输出最终像素。整个过程采用卷积神经网络进行端到端训练。实验结果表明，我们的算法优于当前的视频插值方法，使消费级光场视频拍摄成为可能，并首次实现了对视频的重新聚焦和视差视图生成等应用。