LMM4Edit: تقييم ومعايرة تحرير الصور متعددة الوسائط باستخدام نماذج اللغة الكبيرة

التقدم السريع في تحرير الصور الموجه بالنص (TIE) يتيح تعديلات الصور عبر مطالبات نصية. ومع ذلك، لا تزال نماذج TIE الحالية تواجه صعوبة في موازنة جودة الصورة، محاذاة التعديل، والاتساق مع الصورة الأصلية، مما يحد من تطبيقاتها العملية. تحتوي معايير التقييم والمقاييس الحالية لـ TIE على قيود تتعلق بالحجم أو التوافق مع الإدراك البشري. ولهذا الغرض، نقدم EBench-18K، أول معيار تحرير صور واسع النطاق يتضمن 18 ألف صورة معدلة مع تعليقات تفضيل بشري دقيقة لتقييم TIE. على وجه التحديد، يشمل EBench-18K 1080 صورة أصلية مع مطالبات تعديل مقابلة عبر 21 مهمة، أكثر من 18 ألف صورة معدلة أنتجتها 17 نموذج TIE متقدم، أكثر من 55 ألف درجة رأي متوسط (MOSs) مقيمة من ثلاثة أبعاد تقييمية، وأكثر من 18 ألف زوج سؤال-إجابة (QA). استنادًا إلى EBench-18K، نستخدم نماذج اللغة الكبيرة المتميزة لتقييم الصور المعدلة، بينما تقدم نتائج التقييم بدورها رؤى حول تقييم توافق قدرة النماذج على الفهم مع تفضيلات البشر. ثم نقترح LMM4Edit، مقياسًا قائمًا على نماذج اللغة الكبيرة لتقييم نماذج تحرير الصور من حيث الجودة الإدراكية، محاذاة التعديل، الحفاظ على السمات، ودقة QA الخاصة بالمهمة بطريقة شاملة. تظهر التجارب المكثفة أن LMM4Edit يحقق أداءً ممتازًا ويتوافق جيدًا مع تفضيلات البشر. كما يظهر التحقق بدون تدريب مسبق على مجموعات بيانات أخرى قدرة التعميم لنموذجنا. مجموعة البيانات والكود متاحان على https://github.com/IntMeGroup/LMM4Edit.