شبكات الأعصاب البيانية لا تُفرط دائمًا في التنعيم

لقد ظهرت الشبكات العصبية البيانية (GNNs) كأدوات قوية لمعالجة البيانات العلائقية في التطبيقات. ومع ذلك، تعاني GNNs من مشكلة التنعيم المفرط، وهي خاصية تتجمع فيها ميزات جميع العقد بشكل أُسي إلى نفس المتجه عبر الطبقات، مما يمنع تصميم GNNs عميقة. في هذا العمل، ندرس التنعيم المفرط في الشبكات العصبية التلافيفية البيانية (GCNs) من خلال استخدام مكافئها من العمليات الغاوسية (GP) في حد وجود عدد غير محدود من الميزات المخفية. من خلال تعميم الطرق من الشبكات العصبية العميقة التقليدية (DNNs)، يمكننا وصف توزيع الميزات في طبقة الإخراج لشبكات GCNs العميقة من حيث GP: كما هو متوقع، نجد أن اختيارات المعلمات النموذجية من الأدبيات تؤدي إلى التنعيم المفرط. ومع ذلك، تتيح لنا النظرية تحديد مرحلة جديدة غير تامّة: إذا كانت الأوزان الأولية للشبكة تتمتع بتباين كبير بما فيه الكفاية، فإن GCNs لا تعاني من التنعيم المفرط، وتبقى ميزات العقد مهمة حتى في أعماق كبيرة. نُظهر صحة هذا التنبؤ في GCNs ذات الأحجام المحدودة من خلال تدريب مصنف خطي على مخرجاتها. علاوة على ذلك، باستخدام خطية GP لـ GCN، نُعمم مفهوم عمق انتشار المعلومات من DNNs إلى GCNs. يتباعد هذا العمق عند الانتقال بين مرحلة التنعيم المفرط وغير التنعيم المفرط. نحن نختبر تنبؤات نهجنا ونجد توافقًا جيدًا مع GCNs ذات الأحجام المحدودة. بتهيئة GCNs بالقرب من الانتقال إلى المرحلة غير التنعيم المفرط، نحصل على شبكات تكون عمیقة و تعبیرية في نفس الوقت.