أومنيفيد: إطار توليدي لفهم الفيديو الشامل

تكمن جوهر مهام فهم الفيديو، مثل التعرف، والتعليق، والتتبع، في الكشف التلقائي عن الأجسام أو الأفعال في الفيديو وتحليل تطورها الزمني. بالرغم من تبني مهام مختلفة لهدف مشترك، غالبًا ما تعتمد على معمارية نماذج وتنسيقات تعليقات توضيحية مختلفة. في المقابل، تستفيد معالجة اللغات الطبيعية من فضاء إخراج موحد، أي تسلسلات نصية، مما يبسط تدريب نماذج لغوية أساسية قوية مثل GPT-3، بمجموعات تدريب واسعة. مستلهمين من ذلك، نسعى إلى توحيد فضاء إخراج مهام فهم الفيديو باستخدام اللغات كوسوم بالإضافة إلى تقديم وسوم للزمن والصناديق. بهذه الطريقة، يمكن صياغة مجموعة متنوعة من مهام الفيديو كعملية توليد وسوم مؤسّسة على الفيديو. هذا يمكننا من معالجة أنواع مختلفة من مهام الفيديو، بما في ذلك التصنيف (مثل التعرف على الأفعال)، والتعليق (مشملًا تعليق المقاطع، والإجابة على أسئلة الفيديو، والتعليق الفيديوي الكثيف)، ومهام التحديد المكاني (مثل تتبع الأجسام البصرية) داخل معمارية مشتركة كاملة للترميز-فك الترميز، باتباع إطار توليدي. من خلال تجارب شاملة، نبرهن أن هذه الفكرة البسيطة والواضحة فعالة للغاية وقادرة على تحقيق نتائج متقدمة أو تنافسية في سبعة معايير فيديو، مقدّمة منظورًا جديدًا لفهم الفيديو بشكل أكثر شمولًا. الرمز متاح على https://github.com/wangjk666/OmniVid.