Key points are not available for this paper at this time.
أظهرت نماذج الرؤية واللغة الكبيرة (LVLMs) تقدمًا كبيرًا في الاستجابة لتعليمات بصرية من المستخدمين. ومع ذلك، فإن هذه التعليمات، التي تشمل الصور والنصوص، عرضة للهجمات المتعمدة وغير المتعمدة. على الرغم من الأهمية الحرجة لمتانة نماذج LVLMs ضد هذه التهديدات، إلا أن البحث الحالي في هذا المجال لا يزال محدودًا. لسد هذه الفجوة، نقدم AVIBench، وهو إطار مصمم لتحليل متانة LVLMs عند مواجهة تعليمات بصرية عدائية متنوعة (AVIs)، بما في ذلك أربعة أنواع من AVIs المستندة إلى الصور، وعشرة أنواع من AVIs المستندة إلى النصوص، وتسعة أنواع من AVIs المتعلقة بالتحيز المحتوى (مثل التحيزات المتعلقة بالجنس، والعنف، والثقافة، والعرق، وغيرها). نقوم بإنشاء 260 ألف AVIs تشمل خمس فئات من القدرات متعددة النماذج (تسعة مهام) وتحامل المحتوى. ثم نجري تقييمًا شاملاً يشمل 14 نموذج LVLM مفتوح المصدر لتقييم أدائها. كما أن AVIBench يعد أداة ملائمة للممارسين لتقييم متانة LVLMs ضد AVIs. تسلط نتائجنا ونتائج التجارب الواسعة الضوء على نقاط الضعف في LVLMs، وتبرز أن التحيزات المتأصلة موجودة حتى في نماذج LVLMs المتقدمة المغلقة المصدر مثل GeminiProVision و GPT-4V. وهذا يسلط الضوء على أهمية تعزيز المتانة والأمان والإنصاف في LVLMs. سيتم توفير الشيفرة المصدرية والمعيار بشكل عام.
درس Zhang وآخرون (Thu,) هذا السؤال.