इमेज और वाक्य मेल के लिए मल्टी-मोडालिटी क्रॉस अटेंशन नेटवर्क

इमेज और वाक्य मेल का मुख्य उद्देश्य एक इमेज और एक वाक्य के बीच दृश्य-सेमांटिक समानता को सटीक रूप से मापना है। हालांकि, अधिकांश मौजूदा विधियाँ केवल प्रत्येक मोडालिटी के भीतर अंतर्मोडालिटी संबंध या इमेज क्षेत्रों और वाक्य शब्दों के बीच इंटर-मोडालिटी संबंध का उपयोग करती हैं। इनसे भिन्न, इस कार्य में, हम इमेज और वाक्य मेल के लिए एक नई मल्टीमोडालिटी क्रॉस अटेंशन (MMCA) नेटवर्क का प्रस्ताव करते हैं, जो एक एकीकृत गहरे मॉडल में इमेज क्षेत्रों और वाक्य शब्दों के अंतर्मोडालिटी और इंटर-मोडालिटी संबंधों को संयुक्त रूप से मॉडल करता है। प्रस्तावित MMCA में, हम एक नई क्रॉस-अटेंशन तंत्र डिजाइन करते हैं, जो न केवल प्रत्येक मोडालिटी में अंतर्मोडालिटी संबंधों का लाभ उठा सकता है, बल्कि इमेज क्षेत्रों और वाक्य शब्दों के बीच इंटर-मोडालिटी संबंधों का भी लाभ उठा सकता है, ताकि इमेज और वाक्य मेल के लिए एक-दूसरे को पूरा करें और बढ़ाए। Flickr30K और MS-COCO सहित दो मानक बेंचमार्क पर व्यापक प्रयोगात्मक परिणाम प्रदर्शित करते हैं कि प्रस्तावित मॉडल अत्याधुनिक इमेज और वाक्य मेल विधियों के मुकाबले बेहतर प्रदर्शन करता है।