شبكة التوافق الدلالي متعددة الأشكال المعتمدة على الذاكرة لتوليد تقارير الأشعة

توليد تقارير الأشعة بشكل تلقائي يقلل من عبء العمل على أطباء الأشعة ويساعد في تشخيص الأمراض المحددة. تعتمد العديد من الطرق الحالية هذا المطلب كعملية نقل بين الأطوار. ومع ذلك، نظرًا لأن المعلومات الرئيسية المتعلقة بالمرض تمثل نسبة صغيرة في كل من الصورة والتقرير، فإنه من الصعب على النموذج أن يتعلم العلاقة الخفية بين صورة الأشعة وتقريرها، مما يؤدي إلى فشل في توليد تقارير أشعة سلسة ودقيقة. لمعالجة هذه المشكلة، نقترح نموذج توافق دلالي متعدد الأشكال يعتمد على الذاكرة (MCSAM) يتبع نموذج الترميز-والمDecoding. يتضمن MCSAM بنك ذاكرة سريري طويل المدى مجهز جيدًا لتعلم تمثيلات مرتبطة بالمرض بالإضافة إلى معرفة مسبقة لموديلات مختلفة لاسترجاع واستخدام الذاكرة المسترجعة لأداء دمج الميزات. لضمان التناسق الدلالي للمعرفة المسبقة متعددة الأشكال المسترجعة، يتم اقتراح وحدة توافق دلالي متعددة الأشكال (SAM). كما أن SAM قادر على توليد تضمينات ميزات بصرية دلالية يمكن إضافتها إلى المفكك وتستفيد من توليد التقرير. والأهم من ذلك، لتذكر الحالة والمعلومات الإضافية أثناء توليد التقارير باستخدام المفكك، نستخدم رموز ذاكرة قابلة للتعلم يمكن اعتبارها كمحفزات. تظهر التجارب الموسعة الأداء الوعد لأسلوبنا المقترح والذي يولد أداءً متقدماً على مجموعة بيانات MIMIC-CXR.