إعادة النظر في التعميم القوي لضبط التوجيه العدائي

فهم ضعف نماذج الرؤية-اللغة الكبيرة المُدربة مسبقًا مثل CLIP ضد الهجمات العدائية أمر أساسي لضمان قدرة التعميم بدون تدريب مسبق على مهام متعددة لاحقة. تعتمد آليات الدفاع المتقدمة عادة على استراتيجيات تعلم التوجيه للضبط الدقيق العدائي لتحسين الصلابة العدائية للنموذج المُدرب مسبقًا مع الحفاظ على كفاءة التكيف مع المهام اللاحقة. يؤدي هذا الإعداد إلى مشكلة الإفراط في التخصيص التي تعيق تحسين قدرة النموذج على التعميم لكل من الأمثلة النظيفة والعدائية. في هذا العمل، نقترح إطار عمل ضبط التوجيه العدائي الموجه بالاتساق التكيفي (أي CAPT) الذي يستخدم تعلم التوجيه متعدد الوسائط لتعزيز توافق ميزات الصورة والنص للأمثلة العدائية والاستفادة من التعميم القوي لـ CLIP المُدرب مسبقًا لتوجيه تحسين النموذج—زيادة تعميمه المتين على الأمثلة العدائية مع الحفاظ على دقته على الأمثلة النظيفة. كما نصمم دالة هدف الاتساق التكيفية الجديدة لموازنة الاتساق بين المدخلات العدائية والنظيفة بين النموذج المُعدل والنموذج المُدرب مسبقًا. أُجريت تجارب موسعة عبر 14 قاعدة بيانات و4 أنظمة ندرة بيانات (من إعداد تدريب 1-طلقة إلى البيانات الكاملة) لإظهار تفوق CAPT على غيره من طرق التكيف المتقدمة. أظهر CAPT أداءً ممتازًا من حيث الأداء ضمن التوزيع والتعميم تحت تغيير توزيع المدخلات وعبر قواعد البيانات.