AutoAD: وصف الفيلم في السياق

الهدف من هذه الورقة هو نموذج وصف صوتي تلقائي (AD) يقوم بتحميل الأفلام ويخرج وصفًا صوتيًا على شكل نص. يعتبر توليد وصف صوتي عالي الجودة للأفلام تحديًا بسبب اعتماد الوصفات على السياق، وكمية البيانات التدريبية المتاحة المحدودة. في هذا العمل، نستفيد من قوة النماذج الأساسية المدربة مسبقًا، مثل GPT و CLIP، وندرب فقط شبكة توصيل تربط بين النموذجين لتوليد النص المعتمد على الصور. من أجل الحصول على وصف صوتي عالي الجودة، نقدم المساهمات الأربعة التالية: (i) ندمج السياق من مقطع الفيلم، والوصف الصوتي من المقاطع السابقة، بالإضافة إلى الترجمة النصية؛ (ii) نعالج نقص البيانات التدريبية من خلال التدريب المسبق على مجموعات بيانات واسعة النطاق، حيث تكون المعلومات البصرية أو السياقية غير متاحة، مثل الوصف الصوتي النصي فقط بدون أفلام أو مجموعات بيانات تعنون بصريًا بدون سياق؛ (iii) نحسن بشأن مجموعات بيانات الوصف الصوتي المتاحة حاليًا، عن طريق إزالة ضوضاء التسمية في مجموعة بيانات MAD، وإضافة معلومات تسمية الشخصيات؛ و (iv) نحصل على نتائج قوية في مهمة وصف الأفلام مقارنة بالطرق السابقة.