شبكات فك التشفير الثلاثية الخاضعة للإشراف لاكتشاف الأشياء وتجزئتها معًا

يُعتبر اكتشاف الأشياء المشترك والتجزئة الدلالية أمرًا أساسيًا في العديد من المجالات مثل السيارات ذاتية القيادة. وتتمثل المحاولة الأولية نحو تحقيق هذا الهدف في مشاركة شبكة واحدة ببساطة للتعلم المتعدد المهام. نحن نرى أن هذا لا يستغل بالكامل حقيقة أن الاكتشاف والتجزئة مفيدان لبعضهما البعض. في هذه الورقة، نقترح إطار عمل يسمى TripleNet لتعزيز هذين المهمتين بعمق. من ناحية، للربط العميق بين المهمتين بمقاييس مختلفة، يتم فرض إشراف ثلاثي بما في ذلك الإشراف الموجه نحو الاكتشاف وإشراف التجزئة المعنية/غير المعنية على كل طبقة من طبقات فك التشفير. تُوفر التجزئة غير المعنية تقديرًا لوجود الكائن لاكتشاف الأشياء وتجزئتها. من ناحية أخرى، لتعزيز تداخل المهمتين وتنقيح الميزات في كل مقياس، يتم دمج وحدتين خفيفتين (أي الوحدة المتصلة من الداخل والوحدة المدمجة بالشبكة الانتباهية). نظرًا لأن إشراف التجزئة على كل طبقة من طبقات فك التشفير لا يُنفذ في مرحلة الاختبار وأن الوحدتين الإضافيتين خفيفتين، يمكن تشغيل TripleNet بسرعة في الوقت الحقيقي (16 إطار في الثانية). تُظهر التجارب على مجموعات بيانات VOC 2007/2012 وCOCO أن TripleNet يتفوق على جميع الطرق الأخرى ذات المرحلة الواحدة في كلا المهمتين (مثل 81.9% mAP و83.3% mIoU في VOC 2012، و37.1% mAP و59.6% mIoU في COCO) من خلال شبكة واحدة.