मल्टी-मोडल हाइपरग्राफ नेटवर्क के माध्यम से टेक्स्ट-वीडियो पुनर्प्राप्ति

टेक्स्ट-वीडियो पुनर्प्राप्ति एक चुनौतीपूर्ण कार्य है जिसका लक्ष्य पाठ्य प्रश्न दिए जाने पर प्रासंगिक वीडियो की पहचान करना है। पारंपरिक पाठ्य पुनर्प्राप्ति की तुलना में, टेक्स्ट-वीडियो पुनर्प्राप्ति का मुख्य बाधा प्रश्नों की पाठ्य प्रकृति और वीडियो सामग्री की दृश्य समृद्धि के बीच का अर्थात्मक अंतर है। पिछले कार्य मुख्य रूप से शब्द-फ्रेम मिलान संकेतों को ठीक से समेकित करके प्रश्न और वीडियो को संरेखित करने पर ध्यान केंद्रित करते हैं। टेक्स्ट और वीडियो के बीच प्रासंगिकता को मॉड्यूलर रूप से निर्णय करने की मानव संज्ञानात्मक प्रक्रिया से प्रेरित होकर, निर्णय के लिए उच्च-क्रम मिलान संकेत की आवश्यकता होती है क्योंकि वीडियो सामग्री की प्रकृति अनुक्रमिक और जटिल होती है। इस पेपर में, हम चंक-स्तरीय टेक्स्ट-वीडियो मिलान का प्रस्ताव करते हैं, जहां प्रश्न चंक को एक विशिष्ट पुनर्प्राप्ति इकाई का वर्णन करने के लिए निकाला जाता है, और वीडियो चंक को वीडियो से विशिष्ट क्लिप में विभाजित किया जाता है। हम चंक-स्तरीय मिलान को प्रश्न के शब्दों और वीडियो के फ्रेम के बीच n-ary संबंधों के रूप में सूत्रबद्ध करते हैं और n-ary संबंध मॉडलिंग के लिए एक मल्टी-मोडल हाइपरग्राफ प्रस्तुत करते हैं। पाठ्य इकाइयों और वीडियो फ्रेम का प्रतिनिधित्व करते हुए और उनके संबंधों को चित्रित करने के लिए हाइपरएज का उपयोग करते हुए, एक मल्टी-मोडल हाइपरग्राफ का निर्माण किया जाता है। इस तरह, प्रश्न और वीडियो को उच्च-क्रमीय अर्थात्मक स्थान में संरेखित किया जा सकता है। इसके अलावा, मॉडल की सामान्यीकरण क्षमता को बढ़ाने के लिए, निकाले गए फीचर्स को गणन के लिए एक परिवर्तनकारी अनुमानों घटक में फेड किया जाता है, जो गॉसियन वितरण के तहत परिवर्तनशील प्रतिनिधित्व प्राप्त करता है। हाइपरग्राफ और परिवर्तनकारी अनुमानों का समावेश हमारे मॉडल को पाठ्य और दृश्य सामग्री के बीच जटिल, n-ary बातचीत को कैप्चर करने की अनुमति देता है। प्रयोगात्मक परिणाम दर्शाते हैं कि हमारे प्रस्तावित विधि टेक्स्ट-वीडियो पुनर्प्राप्ति कार्य पर राज्य-कलात्मक प्रदर्शन हासिल करती है।