طريقة دمج رادار الموجات الملليمترية والكاميرا باستخدام آلية متعددة المستويات ومتعددة الانتباه

الملخص في مجال القيادة الذاتية، يُعد دمج تصورات متعددة الحساسات طريقة شائعة لتعزيز دقة الكشف والموثوقية. يمكن أن يكمل دمج رادار الموجات الملليمترية والكاميرا بعضهما البعض بشكل فعال، حيث يوفران معلومات دلالية كافية مع ضمان الموثوقية ضد ظروف الإضاءة والطقس المتغيرة، بتكلفة أقل. في هذا البحث، نركز على دمج ميزات سحابة النقاط الخاصة برادار الموجات الملليمترية وميزات الصورة، مقترحين طريقة دمج على مستوى الميزات متعددة المستويات ومتعددة الانتباه. من خلال تحسين الشبكة الأساسية DLA34 لتوسيع نطاق تلقين النموذج، نقوم بدمج ميزات سحابة النقاط على عدة مستويات مع ميزات الصورة ونستخدم هرم ميزات محسّن للتعامل مع ميزات كلا النمطين، مما يضمن قدرة جيدة على التقاط المعلومات عبر القنوات. يستفيد نموذجنا من مزايا المستوى المتعدد والانتباه المتعدد، محققا دقة تبلغ 34.3% في مجموعة بيانات nuScenes الصعبة، مما يدل على أداء واعد.