Compression Vidéo Neurale avec Modulation des Caractéristiques

Le nouveau codec vidéo neural basé sur le codage conditionnel (NVC) montre une supériorité sur le codec basé sur le codage résiduel couramment utilisé et le dernier NVC revendique déjà de surpasser le meilleur codec traditionnel. Cependant, il existe encore des problèmes critiques bloquant la praticité du NVC. Dans cet article, nous proposons un NVC puissant basé sur le codage conditionnel qui résout deux problèmes critiques via la modulation des caractéristiques. Le premier est de savoir comment supporter une large gamme de qualité dans un seul modèle. Les NVC précédents possédant cette capacité ne supportent en moyenne qu’environ 3,8 dB de plage de PSNR. Pour surmonter cette limitation, nous modulons la caractéristique latente de l’image actuelle via le scaler de quantization apprenable. Pendant l'entraînement, nous concevons spécialement le mécanisme d'échantillonnage du paramètre de quantification uniforme pour améliorer l'harmonisation de l'encodage et de la quantification. Cela entraîne un meilleur apprentissage du scaler de quantification et aide notre NVC à supporter environ 11,4 dB de plage de PSNR. Le second problème est de savoir comment faire fonctionner le NVC sous une longue chaîne de prédiction. Nous démontrons que le NVC SOTA précédent présente un problème de dégradation de qualité évident lors de l'utilisation d'un grand paramètre de période intra. À cet effet, nous proposons de moduler la caractéristique temporelle avec un mécanisme de rafraîchissement périodique pour améliorer la qualité. En plus de résoudre les deux problèmes ci-dessus, nous concevons également un seul modèle capable de supporter à la fois les espaces colorimétriques RGB et YUV. Notamment, sous un cadre intra unique, notre codec peut réaliser une économie de débit de 29,7\% par rapport au précédent NVC SOTA avec une réduction de 16\% des MAC. Notre codec sert de repère notable dans le parcours de l'évolution du NVC. Le code est disponible sur https://github.com/microsoft/DCVC.