Untersuchung der Out-of-Distribution-Verallgemeinerung von GNNs: Eine architektonische Perspektive

Graphen-neuronale Netze (GNNs) haben bemerkenswerte Leistungen unter der Annahme gezeigt, dass Testdaten aus derselben Verteilung wie die Trainingsdaten stammen. In realen Szenarien ist diese Annahme jedoch möglicherweise nicht immer gültig. Folglich liegt ein wachsendes Augenmerk auf der Erkundung des Out-of-Distribution (OOD)-Problems im Kontext von Graphen. Die meisten bestehenden Bestrebungen konzentrierten sich hauptsächlich darauf, die OOD-Verallgemeinerung von Graphen aus zwei modellagnostischen Perspektiven zu verbessern: datengestützte Methoden und strategiebasierte Lernansätze. Es wurde jedoch nur begrenzte Aufmerksamkeit darauf verwendet, den Einfluss bekannter GNN-Modellarchitekturen auf die OOD-Verallgemeinerung von Graphen zu untersuchen, was orthogonal zu bestehenden Forschungen ist. In dieser Arbeit bieten wir die erste umfassende Untersuchung der OOD-Verallgemeinerung bei Graphen aus einer architektonischen Perspektive, indem wir die gemeinsamen Bausteine moderner GNNs untersuchen. Durch umfangreiche Experimente zeigen wir, dass sowohl der Graphen-Selbstaufmerksamkeitsmechanismus als auch die entkoppelte Architektur positiv zur OOD-Verallgemeinerung von Graphen beitragen. Im Gegensatz dazu beobachten wir, dass die lineare Klassifikationsschicht dazu tendiert, die OOD-Verallgemeinerungsfähigkeit von Graphen zu beeinträchtigen. Darüber hinaus bieten wir tiefgehende theoretische Einblicke und Diskussionen, um diese Entdeckungen zu untermauern. Diese Einblicke haben es uns ermöglicht, ein neuartiges GNN-Rückgratmodell, DGat, zu entwickeln, das darauf ausgelegt ist, die robusten Eigenschaften sowohl des Graphen-Selbstaufmerksamkeitsmechanismus als auch der entkoppelten Architektur zu nutzen. Umfangreiche experimentelle Ergebnisse zeigen die Wirksamkeit unseres Modells unter Graph-OOD und verzeichnen erhebliche und konsistente Verbesserungen über verschiedene Trainingsstrategien hinweg. Unsere Codes sind verfügbar unter https://github.com/KaiGuo20/DGAT **2. URL entfernen**://github.com/KaiGuo20/DGAT.