إعادة التفكير في تقسيم الدلالات من منظور تسلسل إلى تسلسل باستخدام المحولات

تت adopt معظم الطرق الحديثة لتقسيم الدلالات شبكة كاملة التلافيف (FCN) مع بنية مشفر-فك تشفير. يقوم المشفر تدريجياً بتقليل الدقة المكانية ويتعلم مفاهيم بصرية أكثر تجريدًا/دلالية مع مجالات استقبالية أكبر. نظرًا لأن نمذجة السياق ضرورية للتقسيم، فإن الجهود الأخيرة قد تركزت على زيادة المجال الاستقبالي، إما من خلال التلافيف المتوسعة/العريضة أو بإدخال وحدات انتباه. ومع ذلك، تظل بنية FCN المعتمدة على المشفر-فك التشفير دون تغيير. في هذه الورقة، نهدف إلى تقديم منظور بديل من خلال اعتبار تقسيم الدلالات كوظيفة تنبؤ تسلسلي. بشكل محدد، نستخدم محولًا بحتًا (أي، بدون تلافيف وتقليل الدقة) لتمثيل الصورة كسلسلة من الأقسام. مع نمذجة السياق العالمي في كل طبقة من المحول، يمكن دمج هذا المشفر مع فك تشفير بسيط لتوفير نموذج تقسيم قوي، يسمى SEgmentation TRansformer (SETR). تظهر التجارب الواسعة أن SETR تحقق مستوى جديد من الأداء الفني على ADE20K (50.28% mIoU)، وسياق Pascal (55.83% mIoU) ونتائج تنافسية على Cityscapes. بشكل خاص، نحقق المركز الأول في قائمةLeaderboard الخاصة بخادم اختبار ADE20K التنافسي للغاية في يوم التقديم.