विविध संदर्भों के साथ न्यूरल वीडियो संपीड़न

किसी भी वीडियो Codec के लिए, कोडिंग दक्षता इस पर निर्भर करती है कि क्या वर्तमान सिग्नल को एनकोड करने के लिए पिछले पुनर्निर्मित सिग्नल से संबंधित संदर्भ प्राप्त किए जा सकते हैं। पारंपरिक Codec ने सत्यापित किया है कि अधिक संदर्भ महत्वपूर्ण कोडिंग लाभ लाते हैं, लेकिन यह एक समय-व्यर्थ करने वाले तरीके से होता है। हालाँकि, उभरते न्यूरल वीडियो Codec (NVC) के लिए, इसके संदर्भ अभी भी सीमित हैं, जिसके परिणामस्वरूप कम संपीड़न अनुपात होता है। NVC को बढ़ावा देने के लिए, इस पेपर में दोनों समय और स्थानिक आयामों में संदर्भ विविधता बढ़ाने का प्रस्ताव दिया गया है। पहले, हम मॉडल को फ़्रेमों के बीच गुणात्मक पैटर्न सीखने के लिए मार्गदर्शन करते हैं, जो दीर्घकालिक और फिर भी उच्च गुणवत्ता वाले समय संदर्भों को समृद्ध करता है। इसके अलावा, ऑप्टिकल फ्लो-आधारित कोडिंग ढांचे की संभावनाओं को खंगालने के लिए, हम एक समूह-आधारित ऑफसेट विविधता प्रस्तुत करते हैं जहाँ बेहतर संदर्भ खनन के लिए समूहों के बीच अंतःक्रिया का प्रस्ताव किया गया है। इसके अतिरिक्त, इस पेपर में समानांतर में निहित प्रतिनिधित्व को एनकोड करने के दौरान स्थानिक संदर्भ विविधता बढ़ाने के लिए क्वाडट्री-आधारित विभाजन को भी अपनाया गया है। प्रयोग दर्शाते हैं कि हमारा Codec पिछले SOTA NVC पर 23.5% बिटरेट की बचत करता है। बेहतर यह है कि हमारा Codec PSNR के मामले में RGB और YUV420 रंग स्थानों में विकासशील अगली पीढ़ी के पारंपरिक Codec/ECM को पार कर गया है। कोड https://github.com/microsoft/DCVC पर उपलब्ध हैं।