कुशल वीडियो ऑब्जेक्ट वर्गीकरण के लिए बेहतर मेमोरी कवरेज के साथ स्थान-काल नेटवर्कों पर पुनर्विचार

यह पेपर वीडियो ऑब्जेक्ट वर्गीकरण के संदर्भ में स्थान-काल सम्बंधों को मॉडल करने के लिए एक सरल लेकिन प्रभावी दृष्टिकोण प्रस्तुत करता है। अधिकांश मौजूदा दृष्टिकोणों के विपरीत, हम हर ऑब्जेक्ट के लिए मास्क विशेषताओं को पुनः-कोड किए बिना फ्रेमों के बीच सीधे सम्बंध स्थापित करते हैं, जो एक अत्यधिक कुशल और मजबूत ढांचे की ओर ले जाता है। सम्बंधों के साथ, वर्तमान क्वेरी फ्रेम में हर नोड को पिछले समय से विशेषताओं को एकत्र करके अनुमानित किया जाता है। हम एकत्रीकरण प्रक्रिया को मतदान समस्या के रूप में प्रस्तुत करते हैं और पाते हैं कि मौजूदा आंतरिक-उत्पाद स्नेह (affinity) मेमोरी काPoor उपयोग करता है जबकि एक छोटा (स्थिर) मेमोरी नोड्स का उपसमुच्चय मतदान पर हावी होता है, क्वेरी की परवाह किए बिना। इस घटना के आलोक में, हम स्नेह की गणना के लिए नकारात्मक वर्ग ईयूक्लिडियन दूरी का उपयोग करने का प्रस्ताव रखते हैं। हमने निष्कर्ष निकाला कि अब हर मेमोरी नोड में योगदान देने का मौका है, और प्रयोगात्मक रूप से दिखाया कि इस प्रकार का विविधीकृत मतदान मेमोरी की दक्षता और अनुमान सटीकता दोनों के लिए फायदेमंद है। सम्बंध नेटवर्क और विविधीकृत मतदान का सहयोग अत्यधिक प्रभावी रूप से काम करता है, DAVIS और YouTubeVOS डेटासेट पर नए राज्य-कलात्मक परिणाम प्राप्त करता है जबकि 20+ FPS पर कई ऑब्जेक्ट्स के लिए तेजी से चलता है।