شبكات الذاكرة العاطفية العميقة عبر الأنماط مع تحويل التعلم الهجين متعدد المصادر التكيفي في التعرف على مشاعر الكلام

في هذا البحث، تم اقتراح شبكة ذاكرة عاطفية عميقة عبر الأنماط (DCM-EMNet) وإطار تحويل التعلم الهجين متعدد المصادر التكيفي (AMS-HTLF). يتم حل مشاكل دمج البيانات متعددة الأنماط وهجرة البيانات الهجينة من مصادر متعددة في التعرف على مشاعر الكلام بشكل فعال من خلال هذه الطريقة. في DCM-EMNet، يتم اعتماد دمج الميزات متعددة المستويات، وآلية الذاكرة العاطفية الديناميكية، وقيود التناسق عبر الأنماط للاستفادة الكاملة من المعلومات الثنائية الأنماط لوصف الكلام والنصوص، وبالتالي يتم تحسين دقة التعرف على العواطف بشكل كبير. في الوقت نفسه، من خلال إطار AMS-HTLF، يتم تنفيذ محاذاة الميزات التكيفية وتعيين التسمية الهجينة، ويتم هجرة البيانات الهجينة من مجالات مختلفة متعددة بفعالية، ويتم تعزيز القدرة العامة للنموذج بشكل كبير في المجال المستهدف. تظهر النتائج التجريبية أن تحسينًا كبيرًا في الأداء يتحقق من خلال الطريقة المقترحة على عدة مجموعات بيانات للتعرف على مشاعر الكلام، وقد تم التحقق بالكامل من فعاليتها وعمليتها. لا يقدم هذا البحث وجهات نظر وأساليب جديدة في مجال التعرف على مشاعر الكلام فحسب، بل يوسع أيضًا أفكارًا جديدة في مجال التعلم متعدد الأنماط وتحويل التعلم.