नॉइज़-रोबस्ट टेक्स्ट-टू-इमेज पर्सन री-आइडेंटिफिकेशन के लिए एडेप्टिव स्यूडो टेक्स्ट ऑग्मेंटेशन

टेक्स्ट-टू-इमेज पर्सन री-आइडेंटिफिकेशन (T2I-ReID) का उद्देश्य टेक्स्ट विवरणों के आधार पर छवियों/वीडियो से पैदल चलने वालों को पुनः प्राप्त करना है। हालांकि, अधिकांश विधियां अंतर्निहित रूप से यह मानती हैं कि प्रशिक्षण छवि-टेक्स्ट जोड़े सही ढंग से संरेखित हैं, जबकि व्यवहार में, मोटे टेक्स्ट एनोटेशन और गलत टेक्स्ट विवरणों के कारण अंडर-कोरिलेटेड और गलत तरीके से कोरिलेटेड छवि-टेक्स्ट जोड़े जैसी समस्याएं उत्पन्न होती हैं। इस समस्या को हल करने के लिए, हम नॉइज़ आइडेंटिफिकेशन और स्यूडो-टेक्स्ट जनरेशन पर आधारित एक T2I-ReID विधि का प्रस्ताव करते हैं। हम पहले Contrastive Language–Image Pre-Training मॉडल (CLIP) का उपयोग करके छवि-टेक्स्ट विशेषताओं को निकालते हैं, फिर सूचनात्मक स्थानीय टोकन विशेषताओं का चयन और फ्यूज करने के लिए टोकन फ़्यूज़न मॉडल का उपयोग करते हैं, जिसके परिणामस्वरूप फाइन-ग्रेन्ड निरूपण के लिए टोकन फ़्यूज़न एम्बेडिंग (TFE) प्राप्त होती है। नॉइज़ी छवि-टेक्स्ट जोड़ों की पहचान करने के लिए, हम बेसिक फीचर एम्बेडिंग (BFE) और TFE की भविष्यवाणियों द्वारा गणना किए गए प्रति-नमूना लॉस वितरण को फिट करने के लिए दो-घटक गॉसियन मिक्सचर मॉडल (GMM) को लागू करते हैं। अंत में, जब नॉइज़ की पहचान स्थिर होने लगती है, तो हम नॉइज़ी टेक्स्ट को बदलने वाले स्यूडो-टेक्स्ट उत्पन्न करने के लिए एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) का उपयोग करते हैं, जिससे नॉइज़ी परिस्थितियों में अधिक विश्वसनीय विजुअल-सिमेंटिक एसोसिएशन और क्रॉस-मॉडल संरेखण सीखने में सुविधा होती है। CUHK-PEDES, ICFG-PEDES, और RSTPReid डेटासेट्स पर व्यापक प्रयोग हमारे प्रस्तावित मॉडल की प्रभावशीलता और अन्य बेसलाइनों के साथ अच्छी अनुकूलता को प्रदर्शित करते हैं।