MEDT: استخدام شبكة الترميز-فك التشفير متعددة الوسائط كما في المحولات لتحليل المشاعر متعددة الوسائط

تحليل المشاعر متعددة الوسائط هو مهمة صعبة في مجال معالجة اللغة الطبيعية (NLP). يستخدم إشارات متعددة الوسائط (اللغة الطبيعية، وإيماءات الوجه، والسلوك الصوتي) في مقاطع الفيديو لتوليد فهم عاطفي. ومع ذلك، فإن أهمية بيانات نمط واحدة في الفيديو تجاه النتائج العاطفية ليست ثابتة. مع تمدد البعد الزمنى، ستؤثر الخصائص العاطفية للغة الطبيعية المحددة على بيانات غير اللغة الطبيعية، مما يؤدي إلى تغيير في الفضاء المميز. في نفس الوقت، يحتاج الاعتماد طويل الأمد داخل نمط معين والاعتماد طويل الأمد بين عدة أنماط غير متوافقة إلى الاعتبار. استجابةً للمشاكل المذكورة أعلاه، يقترح هذا البحث شبكة الترميز-فك التشفير متعددة الوسائط مع المحولات. تقوم نموذج الشبكة بتشفير بيانات متعددة الوسائط عبر شبكة تمثيلات الترميز ثنائية الاتجاه من المحولات (BERT) ومشفّر المحولات لحل الاعتماد طويل الأمد داخل الأنماط. كما تعيد الشبكة بناء مفكك التشفير الخاص بالمحول لحل مشكلة الوزن للبيانات متعددة الوسائط بطريقة تكرارية. تأخذ الشبكة في الاعتبار بشكل كامل الاعتمادات طويلة الأمد بين الأنماط وتأثير الإنزياح للبيانات غير الطبيعية على بيانات اللغة الطبيعية. تحت نفس ظروف التجربة، قمنا بالتحقق من نموذجنا على مجموعات بيانات تحليل المشاعر متعددة الوسائط العامة. بالمقارنة مع النماذج الرائدة، تحقق الشبكة تقدمًا جيدًا واستقرارًا قويًا.