被动快照编码光阑双像素RGB-D成像

被动、紧凑、单次拍摄的3D传感在显微镜、医学成像、手术导航和自动驾驶等许多应用领域中非常有用，因这些场合可能存在形状、时间和功耗的限制。在超紧凑的形状和被动快照的方式下，在短成像距离内获得RGB-D场景信息是具有挑战性的。双像素（DP）传感器是实现此目的的潜在解决方案。DP传感器从镜头的两个不同半部分收集光线，形成两个交错的像素阵列，从而捕获场景的两个略有不同的视图，类似于立体相机系统。然而，使用DP传感器成像意味着模糊大小与视图间的视差成正比。这在视差估计和去模糊准确度之间产生了权衡。为了改善这一权衡效果，我们提出了CADS（编码光阑双像素传感），在成像镜头中使用编码光阑和DP传感器。在我们的方法中，我们在端到端优化环境中共同学习最优编码模式和重建算法。我们的CADS成像系统在所有对焦（AIF）估计中展示了超过1.5dB PSNR的提升，在深度估计质量上较天真DP传感提高了5-6%，适用于广泛的光圈设置。此外，我们为单反相机摄影设置以及内窥镜和皮肤镜形态构建了提出的CADS原型。我们新颖的编码双像素传感方法在模拟和实际实验中以被动、快照和紧凑的方式展示了准确的RGB-D重建结果.