基于深度神经网络的端到端 3D 面部重建

单目 3D 面部形状重建来源于单个 2D 面部图像，是一个活跃的研究领域，因其广泛的应用而受到关注。受到深度神经网络（DNN）成功的启发，我们提出了一种基于 DNN 的端到端 3D 面部重建方法（UH-E2FAR），用于从单个 2D 图像生成 3D 面部形状。与近期使用 RGB 图像和初步 3D 面部形状渲染迭代重建和改进 3D 面部的工作不同，我们的 DNN 模型是端到端的，因此可以避免复杂的 3D 渲染过程。此外，我们在 DNN 架构中集成了两个组件，即多任务损失函数和融合卷积神经网络（CNN），以改善面部表情重建。通过多任务损失函数，3D 面部重建被分为中性 3D 面部形状重建和表现性 3D 面部形状重建。中性 3D 面部形状是类别特定的。因此，高层特征是有用的。而表现性 3D 面部形状则更偏向低层或中间层特征。通过融合 CNN，将来自不同中间层的特征进行融合和转换，以预测 3D 表现性面部形状。通过大量实验，我们证明了我们端到端框架在提高 3D 面部重建准确性方面的优势。