用于VVC帧间预测增强的深度参考帧生成方法

在视频编码中，帧间预测旨在通过使用先前编码的帧作为参考来减少时间冗余。参考帧的质量对帧间预测的性能至关重要。本文提出了一种深度参考帧生成方法，以优化灵活视频编码（VVC）中的帧间预测。具体而言，重建的帧被发送到设计良好的帧生成网络，以合成与当前编码帧相似的图片。合成的图片作为额外的参考帧插入到参考图片列表（RPL）中，为后续的运动估计（ME）和运动补偿（MC）提供更可靠的参考。帧生成网络利用光流精确预测运动。此外，提出了一种光流重组策略，以仅使用单一网络架构实现双向和单向预测。为了合理地将我们的方法应用于VVC，我们进一步引入了时间运动矢量预测（TMVP）的规范性修改。集成到VVC参考软件VTM-15.0中，深度参考帧生成方法在随机访问（RA）、低延迟B（LDB）和低延迟P（LDP）配置下，对Y分量实现了5.22%、3.61%和3.83%的编码效率提升。该方法已在联合视频探索团队（JVET）会议上讨论，目前作为进一步研究的探索实验（EE）的一部分。