Key points are not available for this paper at this time.
التحدي الأساسي في دمج الأنماط المتعددة هو التقاط الترابط بين الأنماط بدقة وإجراء تفاعل بين الأنماط بشكل مرن. من أجل إطلاق القيمة الكاملة لكل نمط والتخفيف من تأثير بيانات الأنماط المتعددة منخفضة الجودة، يظهر الدمج الديناميكي للأنماط المتعددة كنموذج تعليمي واعد. على الرغم من استخدامه على نطاق واسع، إلا أن التبريرات النظرية في هذا المجال لا تزال تفتقر بشكل ملحوظ. هل يمكننا تصميم طريقة دمج متعددة الأنماط قابلة للإثبات والصلابة؟ تقدم هذه الورقة فهماً نظرياً للإجابة على هذا السؤال في إطار دمج الأنماط المتعددة الأكثر شعبية من منظور التعميم. نواصل الكشف عن أن العديد من حلول تقدير عدم اليقين متاحة بشكل طبيعي لتحقيق دمج متعدد الأنماط قوي. ثم نقترح إطار عمل جديد لدمج الأنماط المتعددة يسمى دمج الأنماط المتعددة مع الوعي بالجودة (QMF)، الذي يمكن أن يحسن الأداء من حيث دقة التصنيف ومرونة النموذج. يمكن أن تدعم النتائج التجريبية الواسعة على العديد من المعايير نتائجنا.
درس Zhang et al. (Sat,) هذا السؤال.