CLIP4Caption: CLIP لتسميات الفيديو

تعتبر عملية إضافة التسميات إلى الفيديو مهمة تحديّة حيث تتطلب إنشاء جمل تصف مقاطع فيديو متنوعة ومعقدة. تفتقر النماذج الحالية لإضافة تسميات إلى الفيديو إلى تمثيل بصري ملائم بسبب إهمال وجود فجوات بين مقاطع الفيديو والنصوص. لسد هذه الفجوة، نقترح في هذه الورقة إطار عمل CLIP4Caption الذي يحسّن من إضافة التسميات إلى الفيديو بناءً على شبكة مطابقة الفيديو والنص المعززة بـCLIP (VTM). تستفيد هذه المنظومة من المعلومات المتوفرة من كل من الرؤية واللغة، وتلزم النموذج بتعلم ميزات الفيديو المرتبطة بالنص بشكل قوي لتوليد النصوص. بالإضافة إلى ذلك، على عكس معظم النماذج الحالية التي تستخدم LSTM أو GRU كمفسر للجمل، نتبنى شبكة مفسر ذات هيكلية Transformer لتعلم الاعتماد البصري واللغوي على المدى الطويل بشكل فعال. علاوة على ذلك، نقدم استراتيجية تجميع جديدة لمهام التسمية. تُظهِر نتائج التجارب فعالية طريقتنا في مجموعتين من البيانات: 1) في مجموعة بيانات MSR-VTT، حققت طريقتنا نتيجة جديدة رائدة مع مكاسب ملحوظة تصل إلى 10% في CIDEr؛ 2) في بيانات الاختبار الخاصة، احتلت طريقتنا المركز الثاني في تحدي ACM MM متعدد الوسائط لعام 2021: التهيئة المسبقة لتحدي فهم الفيديو. يُلاحظ أن نموذجنا تم تدريبه فقط على مجموعة بيانات MSR-VTT.