Key points are not available for this paper at this time.
الذكاء العاطفي الاصطناعي هو فرع فرعي من أبحاث تفاعل الإنسان مع الكمبيوتر يهدف إلى تطوير نماذج التعلم العميق القادرة على اكتشاف وتفسير الحالات العاطفية البشرية من خلال أنماط متعددة. تحدٍ رئيسي في هذا المجال هو تحديد العلاقات المعنوية بين الأنماط غير المتجانسة - على سبيل المثال، بين البيانات الصوتية والمرئية - بسبب خصائصها الزمانية والمكانية المتميزة. غالبًا ما تفشل تقنيات الدمج التقليدية المستخدمة في التعلم متعدد الأنماط للجمع بين بيانات من مصادر مختلفة في التقاط التفاعلات عبر الأنماط المعنوية والأقل حسابًا بشكل كافٍ، وتعاني من التكيف مع موثوقية الأنماط المتغيرة. بعد مراجعة الأدبيات ذات الصلة، تعتمد هذه الدراسة طريقة بحث تجريبية لتطوير وتقييم نموذج دمج رياضي عبر الأنماط، وبالتالي تسد فجوة في الأدبيات البحثية الحالية. يستخدم الإطار تحليل تحويل توكر للتعامل مع مجموعة البيانات متعددة الأبعاد إلى مجموعة من المصفوفات لدعم دمج الميزات الزمنية من الصوت وميزات الفضاء الزمني من الأنماط البصرية. يتم دمج آلية الانتباه المتبادل لتعزيز التفاعل عبر الأنماط، مما يمكّن كل نمط من التركيز على المعلومات ذات الصلة من الآخر. يتم تقييم فعالية النموذج بدقة على ثلاثة مجموعات بيانات متاحة للجمهور وتظهر النتائج بشكل قاطع أن تقنية الدمج المقترحة تتفوق على طرق الدمج التقليدية وعدة أساليب أكثر حداثة. تفتح النتائج مجالات جديدة في هذا المجال من الدراسة وستكون ذات اهتمام للباحثين والمطورين في الذكاء العاطفي الاصطناعي.
درس كومار وزملاؤه (مون،) هذا السؤال.