Eine neuartige Anpassung von Eingabeaufforderungen für Graph-Transformatoren: Anpassung von Eingabeaufforderungen an Graph-Topologien

Das Deep Graph Prompt Tuning (DeepGPT), das nur eine Menge kontinuierlicher Eingabeaufforderungen für Graph-Transformatoren anpasst, verringert erheblich den Speicherbedarf während des Trainings. Allerdings ist DeepGPT durch seine einheitlichen Eingabeaufforderungen für Eingabegrafen mit verschiedenen Strukturen eingeschränkt. Dies liegt daran, dass unterschiedliche Graphstrukturen verschiedene Wechselwirkungen zwischen Knoten diktieren, während die einheitlichen Eingabeaufforderungen nicht dynamisch sind, um die Merkmalsumwandlung für die Graphtopologie anzupassen. In diesem Papier schlagen wir eine Topo-spezifische Graph-Eingabeaufforderung-Anpassung (TGPT) vor, die topo-spezifische Eingabeaufforderungen bereitstellt, die an die topologischen Strukturen der Eingabegrafen angepasst sind. Genauer gesagt lernt TGPT trainierbare Einbettungen für Graphlet und Frequenzen, wobei Graphlets fundamentale Untergraphen sind, die die Struktur um spezifische Knoten beschreiben. Basierend auf den statistischen Daten über Graphlets des Eingabegrafen werden topo-spezifische Eingabeaufforderungen durch Graphlet-Einbettungen und Frequenz-Einbettungen generiert. Die topo-spezifischen Eingabeaufforderungen umfassen Knotenebene-to-spezifische Eingabeaufforderungen für bestimmte Knoten, eine graphübergreifende topo-spezifische Eingabeaufforderung für den gesamten Graphen und eine aufgaben-spezifische Eingabeaufforderung, um aufgabenbezogene Informationen zu lernen. Sie werden alle in spezifische Graphknoten eingefügt, um die Merkmalsumwandlung durchzuführen und eine spezifizierte Merkmalsumwandlung für Eingabegrafen mit unterschiedlichen topologischen Strukturen bereitzustellen. Umfangreiche Experimente zeigen, dass unsere Methode bestehende leichtgewichtige Feinabstimmungsmethoden und DeepGPT in der Klassifizierung und Regression von Molekülgraphen mit vergleichbaren Parametern übertrifft.