الكشف والتقطيع المتزامن

نهدف إلى اكتشاف جميع حالات فئة معينة في صورة، ومن ثم، وضع علامات على البكسلات التي تنتمي إليها. نطلق على هذه المهمة اسم الكشف والتقطيع المتزامن (SDS). على عكس الكشف الكلاسيكي باستخدام صناديق الحدود، يتطلب SDS تقطيعا وليس مجرد صندوق. وعلى عكس التقطيع الدلالي الكلاسيكي، نحتاج إلى حالات كائنات فردية. نبني على أعمال حديثة تستخدم الشبكات العصبية التلافيفية لتصنيف اقتراحات المناطق المستقلة عن الفئة (R-CNN 16)، مقدّمين بنية جديدة مصممة خصيصاً لـ SDS. ثم نستخدم تنبؤات خاصة بالفئة، من الأعلى للأسفل، لتحسين اقتراحاتنا من الأسفل للأعلى. نظهر زيادة بمقدار 7 نقاط (16% نسبياً) مقارنة بأسسنا في SDS، وزيادة بمقدار 5 نقاط (10% نسبياً) مقارنة بأحدث التقنيات في التقطيع الدلالي، وأداء من الطراز الأول في الكشف عن الكائنات. أخيراً، نقدم أدوات تشخيصية تكشف عن الأداء وتوفر اتجاهات للأعمال المستقبلية.