PairNorm: معالجة التنعيم المفرط في الشبكات العصبية الرسومية (GNNs)

من المعروف أن أداء الشبكات العصبية الرسومية (GNNs) ينخفض تدريجياً مع زيادة عدد الطبقات. يُعزى هذا التدهور جزئياً إلى التنعيم المفرط، حيث تجعل عمليات التلافيف المتكررة في الرسم البياني تمثيلات العقد غير متميزة في النهاية. نلقي نظرة فاحصة على تفسيرات مختلفة، مع هدف قياس التنعيم المفرط. إسهامنا الرئيسي هو PairNorm، وهي طبقة تطبيع جديدة تعتمد على تحليل دقيق لمشغل تلافيف الرسم البياني، والذي يمنع جميع تمثيلات العقد من أن تصبح متشابهة للغاية. والأهم من ذلك، أن PairNorm سريعة وسهلة التنفيذ دون أي تغيير على بنية الشبكة أو أي معلمات إضافية، وقابلة للتطبيق بشكل واسع على أي GNN. تظهر التجارب على الرسوم البيانية الحقيقية أن PairNorm تجعل نماذج GCN وGAT وSGC الأعمق أكثر قوة ضد التنعيم المفرط، وتعزز بشكل ملحوظ الأداء لمشكلة جديدة تستفيد من GNNs الأعمق. الكود متاح على https://github.com/LingxiaoShawn/PairNorm.