تواجه أنظمة تعلم عميق موثوقة وقابلة للتعميم لأغراض التصوير الطبي عقبات كبيرة بسبب الارتباطات الزائفة، واختلال البيانات، وقلة التعليقات النصية في مجموعات البيانات. يتطلب التغلب على هذه التحديات بنىً معمارية مقاومة لل complexities الفريدة التي تطرحها بيانات التصوير الطبي. تدفع التقدم السريع في نماذج الأساس الخاصة بالرؤية واللغة ضمن مجال الصور الطبيعية السؤال حول كيفية تعديلها لمهام التصوير الطبي. في هذا العمل، نقدم PRISM، إطار عمل يستفيد من نماذج الأساس لتوليد صور طبية مضادة للواقع بدقة عالية، موجهة باللغة باستخدام عملية انتشار ثابت. يظهر نهجنا دقة غير مسبوقة في تعديل الارتباطات الزائفة (الأجهزة الطبية) وميزات الأمراض بشكل انتقائي، مما يمكّن من إزالة وإضافة خواص محددة بينما يتم الحفاظ على خصائص الصورة الأخرى. من خلال تقييم شامل، نوضح كيف يساهم PRISM في تحسين التوليد المضاد للواقع ويسهل تطوير مصنّفات أكثر قوة للاستخدام السريري. لتسهيل الاعتماد الأوسع والبحث، نقدم رمزنا للجمهور على https://github.com/Amarkr1/PRISM.
درس كومار وآخرون (الجمعة) هذا السؤال.