मनुष्य-ऑब्जेक्ट इंटरैक्शन पहचान के लिए इंटरैक्शन प्रस्तावों पर स्ट्रक्चर-सचेत ट्रांसफार्मर का अन्वेषण

हाल के उच्च प्रदर्शन वाले मनुष्य-ऑब्जेक्ट इंटरैक्शन (HOI) पहचान तकनीकों पर ट्रांसफार्मर-आधारित ऑब्जेक्ट डिटेक्टर (यानी, DETR) का गहरा प्रभाव पड़ा है। फिर भी, इनमें से अधिकांश सीधे वनीला ट्रांसफार्मर के माध्यम से एक-चरणीय तरीके से पैरामीट्रिक इंटरैक्शन क्वेरीज़ को HOI भविष्यवाणियों के सेट में मानचित्रित करते हैं। इससे समृद्ध अंतर या आंतरिक इंटरैक्शन संरचना का कम उपयोग किया जाता है। इस काम में, हम HOI पहचान के लिए एक नई ट्रांसफार्मर-शैली HOI डिटेक्टर, यानी, इंटरैक्शन प्रस्तावों पर स्ट्रक्चर-सचेत ट्रांसफार्मर (STIP) का डिज़ाइन करते हैं। ऐसा डिज़ाइन HOI सेट की भविष्यवाणी की प्रक्रिया को दो बाद के चरणों में विभाजित करता है, यानी, पहले एक इंटरैक्शन प्रस्ताव जनरेशन किया जाता है, और फिर गैर-पैरामीट्रिक इंटरैक्शन प्रस्तावों को HOI भविष्यवाणियों में ट्रांसफॉर्मर के माध्यम से परिवर्तित किया जाता है। स्ट्रक्चर-सचेत ट्रांसफार्मर एकीकृत तकनीकों को अपग्रेड करता है, जो इंटरैक्शन प्रस्तावों के बीच समग्र रूप से अर्थपूर्ण संरचना के साथ-साथ प्रत्येक इंटरैक्शन प्रस्ताव के भीतर मानव/ऑब्जेक्ट की स्थानीय स्थानिक संरचना को अतिरिक्त रूप से एनकोड करता है, ताकि HOI भविष्यवाणियों को मजबूत किया जा सके। V-COCO और HICO-DET बेंचमार्क पर किए गए व्यापक प्रयोगों ने STIP की प्रभावशीलता को प्रदर्शित किया है, और सर्वोत्तम परिणामों की रिपोर्ट की गई है जब इसे अत्याधुनिक HOI डिटेक्टर्स के साथ तुलना की जाती है। स्रोत कोड https://github.com/zyong812/STIP पर उपलब्ध है।