PIF-Net: شبكة دمج النقاط والصور العميقة لتقسيم الدلالات المتعددة الوسائط للصور عالية الدقة وسحب النقاط الجوية

يعتبر تقسيم الدلالات ذا أهمية كبيرة في العديد من التطبيقات. ومع ذلك، فإن أتمتة مثل هذه المهمة على بيانات ذات حقل واحد تمثل تحديًا في مجال الاستشعار عن بُعد بسبب المشاهد المعقدة، والحجب، والبيانات المتجانسة. في هذه المقالة، نقترح شبكة دمج نقاط وصور عميقة، تُعرف باسم PIF-Net، لتقسيم الدلالات المتعددة الوسائط. تشمل الشبكة المقترحة PIF-Net هيكل تشفير-فك ترميز، حيث يستخدم وحدة التشفير فرعين مستقلين مع كتل Res-Pooling وكتل انتباه النقطة (Pt-Atten) لاستخراج ميزات متعددة الوسائط عميقة ومكثفة، وتقوم وحدة فك الترميز بتكبير هذه الميزات. تم اقتراح وحدة دمج هرمية لدمج الميزات متعددة الوسائط بشكل تكيفي على مستويات مختلفة لضمان اختلاطها بالكامل. تنتج الميزات المشتركة في كل من تمثيلات النقطة والبكسل، والتي تُدخل لاحقًا إلى وحدة التصنيف لإتمام مهام التصنيف المتعددة والحصول على نتائج تقسيم الدلالات للصورة وسحب النقاط. تم اختبار الشبكة المقترحة على مجموعتي بيانات مرجعية: مجموعة بيانات Urban Semantic 3-D (US3D) ومجموعة بيانات ISPRS Vaihingen. أظهرت نتائج التقييم أن PIF-Net حققت دقة شاملة (OA) بنسبة 91.5% و97.2% لتقسيم الصورة والنقاط على مجموعة بيانات US3D، ودقة شاملة (OA) بنسبة 90.1% و89.3% لتقسيم الصورة والنقاط على مجموعة بيانات ISPRS Vaihingen. أشارت المقارنات مع الأساليب الحالية ذات الحقل الواحد والمتعددة الوسائط إلى أن PIF-Net تفوقت على معظم الأساليب الكلاسيكية ويمكن أن تحقق تحسينات كبيرة. كما أظهرت أن التعلم العميق متعدد الوسائط يتمتع بإمكانات كبيرة في تطبيقات الاستشعار عن بعد.