الصورة إلى التسمية إلى الإجابة: إطار عمل فعال لتعزيز التطبيقات السريرية في الإجابة على الأسئلة المرئية الطبية

تواجه الإجابة على الأسئلة المرئية الطبية (Med-VQA) قيودًا كبيرة في تطوير التطبيقات بسبب نقص وصعوبة الحصول على البيانات. تركز الأساليب الحالية على التعلم متعدد الوسائط لتزويد النماذج بقدرات استنتاج الصور الطبية وفهم اللغة الطبيعية، ولكن هذا يؤدي إلى تفاقم ندرة البيانات في Med-VQA، مما يعيق التطبيقات السريرية والتقدم. يقترح هذا البحث إطار عمل ITLTA لـ Med-VQA، مصممًا بناءً على متطلبات المجال. يجمع ITLTA بين التعلم متعدد التسميات للصور الطبية مع قدرات فهم اللغة والتفكير لنماذج اللغة الكبيرة (LLMs) لتحقيق التعلم بدون تدريب مسبق، مستوفيًا احتياجات وحدة اللغة الطبيعية دون الحاجة إلى تدريب شامل. يقلل هذا النهج من تكاليف النشر ومتطلبات بيانات التدريب، مما يسمح لـ LLMs بالعمل كوحدات مرنة قابلة للإدخال والتشغيل. لتعزيز دقة التصنيف متعدد التسميات، يستخدم الإطار بيانات الصور الطبية الخارجية للتدريب المسبق، متكاملة مع آلية مشتركة للاهتمام بالميزات والتسميات. يضمن هذا التكوين أداءً قويًا وقابلية للتطبيق، حتى مع البيانات المحدودة. بالإضافة إلى ذلك، يوضح الإطار عملية اتخاذ القرار للتسميات المرئية وتحفيزات الأسئلة، مما يعزز إمكانية تفسير Med-VQA. تم التحقق من صحتها على مجموعة بيانات VQA-Med 2019، حيث تظهر طريقتنا فعالية تفوق مقارنة بالأساليب الموجودة، مؤكدة أدائها المتميز للتطبيقات السريرية المحسنة.