تصنيف مزدوج قائم على CNN-GCN للبيانات عالية الطيف وليدار

لقد جلبت تقنيات التعلم العميق مكاسب كبيرة في أداء تصنيف الصور عن بُعد. من بينها، يمكن للشبكات العصبية الالتفافية (CNN) استخراج ميزات مكانية وطيفية غنية من الصور عالية الطيف في منطقة مدى قصير، في حين يمكن للشبكات العصبية الالتفافية الرسومية (GCN) نمذجة العلاقات المكانية المتوسطة والطويلة المدى (أو الميزات الهيكلية) بين العينات على هيكلها البياني. تتيح هذه الميزات المختلفة تصنيف صور الاستشعار عن بُعد بدقة. بالإضافة إلى ذلك، يمكن أن توفر الصور عالية الطيف وصور الكشف الضوئي وتحديد المدى (LiDAR) معلومات مكانية وطيفية ومعلومات ارتفاع الأهداف على سطح الأرض، على التوالي. يمكن أن تعزز هذه البيانات المتعددة المصادر لتحسس عن بُعد دقة التصنيف في المشاهد المعقدة. تقترح هذه الورقة طريقة تصنيف لبيانات HS وLiDAR تستند إلى هيكل مزدوج متزاوج بين CNN وGCN. يمكن تقسيم النموذج إلى CNN متزاوج وGCN متزاوج. يستخدم الأول آلية مشاركة الوزن لدمج وتبسيط نماذج CNN المزدوجة هيكليًا واستخرج الميزات المكانية من بيانات HS وLiDAR. يتصل الثاني أولاً ببيانات HS وLiDAR لبناء هيكل بياني موحد. ثم، تقوم نماذج GCN المزدوجة بتنفيذ الدمج الهيكلي من خلال مشاركة الهياكل البيانية ومصفوفات الوزن لبعض الطبقات لاستخراج معلوماتها الهيكلية، على التوالي. أخيرًا، تُغذى الميزات الهجينة النهائية إلى مصنف قياسي لمهمة تصنيف البكسل على مستوى وحدات الدمج الموحدة للميزات. تُظهر التجارب الواسعة على بيانتين حقيقية من HS وLiDAR فاعلية وتفوق الطريقة المقترحة مقارنةً بأساليب خط الأساس الرائدة الأخرى، مثل CNN ذات الفرع المزدوج وCNN السياقية. على وجه الخصوص، تحقق الدقة العامة (99.11%) على ترينتو أفضل أداء تصنيف تم الإبلاغ عنه حتى الآن.