بينما تظهر نماذج اللغة متعددة الوسائط الكبيرة أداءً قويًا في مهام الاستدلال المعقدة، فإنها تواجه تحديات كبيرة تتعلق بتعقيد النموذج أثناء النشر، خاصةً للأجهزة ذات الموارد المحدودة. في هذه الورقة، نقترح طريقة تخصيص تلقائي للنماذج الكبيرة للرؤية واللغة لتعزيز كفاءة الاستدلال المتعدد الوسائط. تعتمد الطرق التقليدية على بيانات التدريب للنموذج الأصلي لاختيار نسبة التخصيص المناسبة لمكونات الشبكة المختلفة. ومع ذلك، فإن هذه الطرق غير عملية بالنسبة للنماذج الكبيرة للرؤية واللغة بسبب تكاليف البحث غير المقبولة الناتجة عن مجموعة بيانات تدريب كبيرة على الويب. بالمقابل، تستفيد طريقتنا فقط من عدد صغير من العينات للبحث عن سياسة التخصيص المطلوبة من خلال تعظيم القدرة على التعميم على بيانات التدريب غير المعروفة مع الحفاظ على دقة النموذج، مما يتيح تحقيق توازن مثالي بين الدقة والكفاءة للنماذج الكبيرة للغة البصرية. على وجه التحديد، نصيغ فجوة التعميم لاستراتيجية التخصيص باستخدام مبدأ تقليل المخاطر الهيكلية. استنادًا إلى أداء المهام وقدرة التعميم، نقوم بالبحث بشكل متكرر عن سياسة التخصيص المثلى ضمن مساحة بحث معينة وتحسين جهاز العرض البصري لتطوير مساحة البحث مع حد أعلى أعلى من الأداء. نجري تجارب واسعة على مجموعات بيانات ScienceQA وVizwiz وMM-vet وLLaVA-Bench لمهمة الإجابة على الأسئلة البصرية. باستخدام 64 عينة فقط للبحث عن سياسة التخصيص، تحقق EfficientLLaVA دقة تصل إلى 83.05% على ScienceQA، مع تسريع ملحوظ يبلغ 1.8 مقارنةً بنموذج LLaVA-v1.5-7B الكثيف.
درس ليانغ وآخرون (الأربعاء) هذا السؤال.