توليد تقارير الأشعة تلقائيًا عبر شبكة مواءمة الذاكرة

تعتبر عملية توليد تقارير الأشعة تلقائيًا ذات أهمية كبيرة، حيث يمكن أن تقلل من عبء العمل على الأطباء وتحسن من دقة وموثوقية التشخيص والعلاج الطبي، وقد جذبت انتباهًا واسعًا في السنوات الأخيرة. تعتبر عملية رسم الخرائط متعددة الأنماط بين الصور والنصوص، وهي عنصر رئيسي في توليد تقارير عالية الجودة، تحديًا بسبب نقص التعليقات التوضيحية المقابلة. على الرغم من أهميتها، غالبًا ما تغفل الدراسات السابقة عنها أو تفتقر إلى التصاميم الكافية لهذا العنصر الحيوي. في هذا البحث، نقترح طريقة تعتمد على تضمين مواءمة الذاكرة لمساعدة النموذج في مواءمة الميزات البصرية والنصية لتوليد تقرير مترابط وغني بالمعلومات. على وجه الخصوص، نحصل أولاً على تضمين مواءمة الذاكرة من خلال استعلام مصفوفة الذاكرة، حيث يستمد الاستعلام من مزيج من الميزات البصرية وتضميناتها الموضعية المقابلة. ثم يمكن توجيه المواءمة بين الميزات البصرية والنصية من خلال تضمين مواءمة الذاكرة خلال عملية التوليد. تُظهر تجارب المقارنة مع طرق المواءمة الأخرى أن الطريقة المقترحة أقل تكلفة وأكثر فعالية. كما تحقق الطريقة المقترحة أداءً أفضل من الأساليب الحديثة في مجموعتين من البيانات العامة IU X-Ray وMIMIC-CXR، مما يثبت بشكل أكبر فعالية طريقة المواءمة المقترحة.