تجزئة كائنات الفيديو القوية

مع الزيادة المستمرة في أحجام بيانات الفيديو، أصبحت العملية التلقائية لاستخراج مناطق الكائنات البارزة أكثر أهمية لحلول التحليل البصري. وقد أتاح هذا الازدهار أيضاً فرصاً للاستفادة من الإشارات المشتركة المجمعة في مقاطع فيديو متعددة بطريقة تعاونية. ومع ذلك، فإن ذلك يثير أيضاً تحديات كبيرة، مثل التعامل مع اختلافات شديدة في المظهر، ونمط الحركة، وتغيرات الوضعية، للكائنات في المقدمة فضلاً عن الخلفيات غير المتميزة. هنا، نقدم إطار عمل للتجزئة المشتركة لاكتشاف وتجزيء المناطق المشتركة عبر عدة إطارات ومقاطع فيديو متعددة بطريقة مشتركة. ندمج ثلاثة أنواع من الإشارات، وهي، البروز داخل الإطار، والاتساق بين الإطارات، والتشابه عبر الفيديو في إطار تحسين الطاقة الذي لا يفرض افتراضات مقيدة على مظهر الكائنات في المقدمة ونموذج الحركة، ولا يتطلب أن تكون الكائنات مرئية في جميع الإطارات. كما نقدم وصفاً لتدفق تحويل المميزات الزمنية والمكانية غير المتغيرة (SIFT) لدمج التطابق عبر الفيديو من تدفق SIFT التقليدي إلى تدفق الحركة بين الإطارات من التدفق البصري. ينتج هذا التدفق الزمني المكاني الجديد تقديرات موثوقة للكوابل المشتركة عبر مجموعة البيانات الفيديو كاملة. تظهر النتائج التجريبية أن طريقتنا تتفوق على أحدث الأساليب في مجموعة بيانات جديدة شاملة (ViCoSeg).