हेटेरोजेनियस ग्राफ एम्बेडिंग के साथ क्रॉस-मोडल पुनर्प्राप्ति

पारंपरिक विधियाँ क्रॉस-मोडल पुनर्प्राप्ति समस्या का समाधान साझा अभिव्यक्ति स्थान में बहु-मोडल डेटा को प्रक्षिप्त करके करती हैं। इस तरह की रणनीति अनिवार्य रूप से मोडालिटी-विशिष्ट जानकारी को खो देगी, जिससे पुनर्प्राप्ति सटीकता में कमी आएगी। इस पत्र में, हम अधिक समृद्ध क्रॉस-मोडल जानकारी को संरक्षित करने के लिए हेटेरोजेनियस ग्राफ एम्बेडिंग का प्रस्ताव करते हैं। एक मोडालिटी से एम्बेडिंग को दूसरी मोडालिटी से एकत्रित एम्बेडिंग के साथ मुआवजा दिया जाएगा। विशेष रूप से, "लेबल शोर" समस्या को कम करने के लिए एक आत्म-शोर-नाशक ट्री खोज को डिज़ाइन किया गया है, जिससे हेटेरोजेनियस पड़ोस अधिक सेमांटिक रूप से प्रासंगिक होता है। डुअल-पाथ एग्रीगेशन "मोडालिटी असंतुलन" समस्या को हल करता है, प्रत्येक नमूने को व्यापक डुअल-मोडालिटी जानकारी प्रदान करता है। अंतिम हेटेरोजेनियस ग्राफ एम्बेडिंग एकत्रित डुअल-मोडालिटी विशेषताओं को क्रॉस-मोडल आत्म-ध्यान मॉड्यूल में फीड करके प्राप्त किया जाता है। क्रॉस-मोडल व्यक्ति पुनः पहचान और छवि-टेक्स्ट पुनर्प्राप्ति कार्य पर किए गए प्रयोग प्रस्तावित विधि की श्रेष्ठता और सामान्यता को मान्य करते हैं।