توليد إلى الأرض: تحسين تكييف النص متعدد الأبعاد يعزز من دقة توطين العبارات في نماذج الرؤية-اللغة الطبية

توطين العبارات، أي ربط عبارات اللغة الطبيعية بمناطق محددة في الصور، يحمل إمكانات كبيرة لتحديد الأمراض في التصوير الطبي من خلال التقارير السريرية. بينما تعتمد الأساليب الحالية المتقدمة على نماذج تمييزية معزولة ذاتيًا، نثبت أن نماذج الانتشار النصي التوليدية، التي تستفيد من خرائط الاهتمام المتبادل، يمكن أن تحقق أداءً متفوقًا في توطين العبارات بدون تدريب مسبق. على عكس الافتراضات السابقة، نظهر أن ضبط نماذج الانتشار باستخدام نموذج لغة محدد المجال، مثل CXR-BERT، يتفوق بشكل كبير على النماذج غير المحددة المجال. يحقق هذا الإعداد تحسينات ملحوظة، حيث تتضاعف درجات المIoU الخاصة به مقارنة بالأساليب التمييزية الحالية. تسلط هذه النتائج الضوء على الإمكانات غير المستكشفة للنماذج التوليدية في مهام توطين العبارات. لتعزيز الأداء بشكل أكبر، نقدم تقنية الدمج الثنائي للتحيزات (BBM)، وهي تقنية معالجة بعدية جديدة تعمل على محاذاة تحيزات النص والصورة لتحديد المناطق ذات اليقين العالي. تقوم BBM بتنقيح خرائط الاهتمام المتبادل، محققة دقة توطين أكبر. تؤكد نتائجنا أن الأساليب التوليدية تمثل نموذجًا أكثر فعالية لتوطين العبارات في مجال التصوير الطبي، مما يمهد الطريق لتطبيقات أكثر قوة وقابلية للتفسير في الممارسة السريرية. الكود المصدري وأوزان النموذج متاحة على https://github.com/Felix-012/generateₜoground.