كشف وتتبع الكائنات في الوقت الحقيقي بناءً على الأجهزة المتطورة لتوليد الخرائط الديناميكية المحلية

تقدم هذه الورقة نظام كاميرا مصمم لتوليد الخرائط الديناميكية المحلية (LDM) ، قادر على تنفيذ اكتشاف الكائنات والتتبع وتقدير الموضع ثلاثي الأبعاد في الوقت نفسه. تركز هذه الورقة على تحسين الأساليب الموجودة لتناسب تطبيقنا بشكل أفضل، بدلاً من اقتراح طرق جديدة. قمنا بتعديل رأس الاكتشاف في YOLOv4 لتعزيز أداء الاكتشاف للأجسام الصغيرة ولتوقع النقاط المرجعية لتقدير الموضع ثلاثي الأبعاد. يظهر الكاشف المعدل، مقارنة بـ YOLOv4، تحسينًا قدره حوالي 5% في المقياس المتوسط الدقيق على مجموعة بيانات Visdrone2019 وحوالي 3% على قاعدة بياناتنا. كما قدمنا متعقبًا يعتمد على DeepSORT. على عكس DeepSORT، الذي يستخدم شبكة استخراج الميزات لكل كائن تم اكتشافه، يطبق المتعقب المقترح شبكة استخراج الميزات مرة واحدة للصورة بأكملها. لزيادة دقة خرائط الميزات، يدمج المتعقب هيكل شبكة تجميع الميزات (FAN) في شبكة DeepSORT. الفرق في دقة تتبع الكائنات المتعددة (MOTA) بين المتعقب المقترح وDeepSORT ضئيل عند 0.3%. ومع ذلك، فإن المتعقب المقترح يحتفظ بعبء حسابي ثابت، بغض النظر عن عدد الكائنات المكتشفة، لأنه يستخرج خريطة ميزات واحدة للصورة بأكملها. تجعل هذه الخاصية مناسبة للأجهزة المتطورة. تم تنفيذ الطرق المقترحة على نظام مصغر (SoC)، Qualcomm QCS605، باستخدام تقنيات تقليم الشبكة والتكميم. وهذا يمكّن من تنفيذ العملية بالكامل بمعدل 10 هرتز على هذا الجهاز المتطور.