تحديث نموذج CLIP لتفضيل الأوصاف على التسميات

على الرغم من أن CLIPScore هو مقياس عام قوي يقيس التشابه بين النص وصورة، إلا أنه يفشل في التمييز بين التسمية التي تهدف إلى تكملة المعلومات في الصورة والوصف الذي يهدف إلى استبدال الصورة بالكامل، على سبيل المثال، من أجل الوصول. نحن نعالج هذه النقطة القصورة من خلال تحديث نموذج CLIP باستخدام مجموعة بيانات Concadia لتمييز الأوصاف بدرجات أعلى من التسميات باستخدام ضبط دقيق فعال في المعلمات وهدف خسارة مستمد من العمل على التفسير السببي. يرتبط هذا النموذج بأحكام الأشخاص المكفوفين وذوي الرؤية المنخفضة مع الحفاظ على قدرات النقل وله هيكل يمكن تفسيره يسلط الضوء على الفرق بين التسمية والوصف.