उपभोक्ता उपकरणों का उपयोग करके भावनाओं के लिए संयुक्त मल्टी-स्केल मल्टीमॉडल ट्रांसफार्मर

मल्टीमॉडल इमोशन रिकग्निशन (MER) के क्षेत्र ने हाल के वर्षों में काफी प्रगति की है; हालांकि, विभिन्न मॉडालिटीज के बीच सहयोगात्मक संबंधों का लाभ उठाने का अवसर काफी हद तक अप्रयुक्त है। यह पेपर एक MER दृष्टिकोण प्रस्तुत करता है जो संयुक्त मल्टी-स्केल मल्टीमॉडल ट्रांसफार्मर (JMMT) को लागू करता है, जिसमें प्राकृतिक पहचान के लिए पुनरावृत्त क्रॉस-अटेंशन शामिल है, जो दृश्य और ऑडियो दोनों मॉडालिटीज के बीच अंतर- और अंतर्विधान संबंधों को बढ़ाता और कैप्चर करता है। हम संयुक्त और व्यक्तिगत संकेतों के मल्टी-स्केल संयुक्त प्रतिनिधित्वों के बीच क्रॉस-सहसंबंधों के आधार पर मल्टी-स्केल अटेंशन वेट्स की गणना करते हैं ताकि अंतर और अंतर्विधान गतिशीलता को कैप्चर किया जा सके। व्यक्तिगत मॉडालिटीज के परिणामस्वरूप, पुनरावृत्त इनपुट विशेषताओं के और सुधार के लिए फ्यूजन के दौरान फीडबैक किए जाते हैं। हमारा JMMT मॉडल उपभोक्ता उपकरणों के लिए एक लागत-प्रभावी समाधान प्रस्तुत करता है जो दृश्य और ऑडियो इनपुट के बीच सहयोगात्मक विशेषताओं को कैप्चर करता है। JMMT मॉडल MER सिस्टम में अत्याधुनिक (SOTA) तरीकों से बेहतर प्रदर्शन करता है, जो IEMOCAP और MELD डेटा सेटों द्वारा मूल्यांकन किया गया।