المكرر الدوري: تعلم التمثيل الزمني الواعي للكائن للكشف والتتبع ثلاثي الأبعاد متعدد الرؤى

نقترح إطار عمل موحد لتعلم التمثيل الزمني الواعي للكائنات لمهام الكشف والتتبع ثلاثي الأبعاد متعدد الرؤى. بعد ملاحظتنا أن فعالية استراتيجية الدمج الزمني في طرق الإدراك متعددة الرؤى الحديثة قد تضعف بسبب المشتتات والتداخلات الخلفية في الإطارات التاريخية، نقترح آلية تعلم دورية لتحسين متانة تعلم تمثيل متعدد الرؤى. المبدأ الأساسي هو بناء جسر رجعي لنقل المعلومات من تنبؤات النموذج (مثل مواقع وأحجام الكائنات) إلى ميزات الصورة وميزات عرض الطائرة العلوية (BEV)، مما يشكل دائرة مع عملية الاستدلال الاعتيادية. بعد التكرير الرجعي، يتم قمع استجابات المناطق غير المتعلقة بالهدف في الإطارات التاريخية، مما يقلل من خطر تلويث الإطارات المستقبلية ويحسن قدرة الدمج الزمني على وعي الكائن. كما نخصص استراتيجية ارتباط واعية للكائن للتتبع استنادًا إلى نموذج التعلم الدوري. لا يوفر نموذج التعلم الدوري ميزات مكررة فحسب، بل يقدم أيضًا دلائل أدق (مثل مستوى المقياس) لربط مجموعة المسارات. تساهم طريقة التعلم الدوري المقترحة ووحدة الارتباط معًا في إطار عمل متعدد المهام جديد وموحد. تظهر التجارب على مجموعة nuScenes أن النموذج المقترح يحقق مكاسب أداء متسقة مقارنة بالنماذج الأساسية ذات التصاميم المختلفة (أي BEVFormer القائم على الاستعلام الكثيف، SparseBEV القائم على الاستعلام النادر، وBEVDet4D القائم على LSS) في كل من تقييم الكشف والتتبع.